Zum Inhalt springen
SONOYA.com
KI

Eigene Dokumente lokal befragen: Ollama und Open WebUI

So befragst Du PDFs und Notizen lokal mit Ollama und Open WebUI: Embedding-Modell wählen, Wissensdatenbank anlegen, Quellen prüfen, ohne Cloud-Upload.

Von

Dokumentsymbol mit Lupe als helles Linien-Icon auf dunklem Weinrot, Sinnbild für die Suche in eigenen PDFs mit Ollama und Open WebUI

Du hast ein Bedienungshandbuch mit 300 Seiten, einen Ordner voller Vertragsunterlagen oder Deine gesammelten Projektnotizen und möchtest einer KI Fragen dazu stellen, ohne die Dateien bei ChatGPT oder einem anderen Cloud-Dienst hochzuladen. Genau dafür hat Open WebUI eine eingebaute Wissensdatenbank, die mit lokalen Modellen aus Ollama zusammenarbeitet. Hier richtest Du sie so ein, dass die Antworten auf Deutsch brauchbar sind, Du jede Aussage an der Quelle nachprüfen kannst und kein Dokument Dein Heimnetz verlässt.

Die Anleitung gilt für Open WebUI 0.13 und Ollama 0.40, Stand November 2026. Menüpfade und Einstellungen habe ich mit der offiziellen Dokumentation zur Wissensdatenbank und zu RAG in Open WebUI abgeglichen. Den kompletten Ablauf mit echten Dokumenten habe ich für diesen Artikel nicht durchgespielt, die Empfehlungen zu Modellen und Werten stützen sich auf die Doku von Open WebUI und Ollama.

RAG in einfachen Worten

Ein Sprachmodell kennt Deine Dokumente nicht, und sein Arbeitsgedächtnis, das Kontextfenster, ist meist viel zu klein, um sie komplett zu lesen. Open WebUI geht deshalb einen Umweg, der Retrieval Augmented Generation heißt, kurz RAG:

  1. Beim Hochladen zieht Open WebUI den Text aus der Datei und zerlegt ihn in kurze Abschnitte, sogenannte Chunks.
  2. Ein Embedding-Modell rechnet jeden Abschnitt in eine Zahlenreihe um, die seine Bedeutung beschreibt. Diese Zahlen landen in einer Vektordatenbank, bei Open WebUI standardmäßig ChromaDB im eigenen Datenvolume.
  3. Stellst Du eine Frage, wird auch sie in Zahlen übersetzt. Open WebUI sucht die Abschnitte heraus, deren Bedeutung am besten passt, und legt sie dem Chat-Modell zusammen mit Deiner Frage vor.
  4. Das Chat-Modell formuliert die Antwort aus diesen Abschnitten, und Open WebUI zeigt darunter die Dateien an, aus denen sie stammen.

Daraus folgt die wichtigste Regel für alles Weitere: Das Chat-Modell sieht nie das ganze Dokument, sondern nur die paar Abschnitte, die die Suche gefunden hat. Taugt die Suche nichts, hilft auch das klügste Modell nicht.

Ausgangslage: Open WebUI und Ollama laufen

Diese Anleitung baut auf der Installation aus Open WebUI mit Ollama: eigenes ChatGPT im Heimnetz auf. Dort läuft Ollama direkt auf dem Linux-Rechner und lauscht nur auf 127.0.0.1:11434, Open WebUI läuft per Docker Compose aus /opt/open-webui mit network_mode: host und ist im Heimnetz unter http://<IP-des-Rechners>:8080 erreichbar. An der compose.yaml musst Du für diesen Artikel nichts ändern, denn alle RAG-Einstellungen nimmst Du in der Oberfläche vor.

Ob beides läuft, prüfst Du auf dem Server mit:

Code
curl http://127.0.0.1:11434
cd /opt/open-webui
docker compose ps

Der erste Befehl muss Ollama is running melden, der letzte den Container open-webui mit dem Status Up zeigen. Du brauchst außerdem das Admin-Konto, das Du bei der Installation angelegt hast. Beim Arbeitsspeicher solltest Du mit mindestens 16 GB rechnen, weil Chat-Modell und Embedding-Modell gleichzeitig geladen sind und das größere Kontextfenster aus Schritt 3 zusätzlich Speicher belegt. Was mit weniger RAM noch geht, steht in Lokale KI: Welche Hardware reicht für welches Modell?.

Schritt 1: Embedding- und Chat-Modell laden

Open WebUI bringt ein eigenes Embedding-Modell mit, all-MiniLM-L6-v2. Es läuft ohne Einrichtung, ist aber auf englische Texte trainiert und findet in deutschen Dokumenten spürbar schlechter die richtigen Stellen. Für deutsche Unterlagen nimmst Du deshalb ein mehrsprachiges Modell aus Ollama. Meine Empfehlung ist bge-m3: Es unterstützt über 100 Sprachen, verarbeitet Abschnitte bis 8.192 Token und ist mit 1,2 GB klein genug, um neben dem Chat-Modell im Speicher zu bleiben.

Code
ollama pull bge-m3

Als Chat-Modell eignet sich bei 16 GB RAM qwen3:8b, das auch in der Grundanleitung vorkommt. Hast Du es noch nicht geladen, holst Du es jetzt:

Code
ollama pull qwen3:8b

Ob das Embedding-Modell arbeitet, testest Du direkt über die Ollama-API:

Code
curl http://127.0.0.1:11434/api/embed -d '{"model": "bge-m3", "input": "Wie lange gilt die Garantie?"}'

Kommt eine lange Antwort zurück, die mit {"model":"bge-m3","embeddings":[[ beginnt, ist das Modell bereit.

Schritt 2: Open WebUI auf das neue Embedding-Modell umstellen

Stell das Embedding-Modell um, bevor Du das erste Dokument hochlädst, denn Abschnitte, die ein anderes Embedding-Modell berechnet hat, passen nicht zu Fragen, die mit dem neuen berechnet werden.

Klick auf Dein Profilbild, öffne Admin Panel und dort Settings > Documents. Hast Du die Oberfläche auf Deutsch umgestellt, heißen die Punkte Admin-Bereich und Einstellungen > Dokumente. Im Abschnitt Embedding stellst Du Folgendes ein:

  1. Bei Embedding Model Engine wählst Du Ollama.
  2. Als API Base URL trägst Du http://127.0.0.1:11434 ein. Das funktioniert, weil der Container dank network_mode: host das Netzwerk des Rechners mitbenutzt.
  3. Das Feld für den API-Schlüssel bleibt leer.
  4. Bei Embedding Model trägst Du bge-m3 ein.

Darunter im Abschnitt Retrieval passt Du die Werte an ein lokales Modell mit begrenztem Kontextfenster an. Die Doku von Open WebUI empfiehlt für diesen Fall:

EinstellungWertWozu
Text SplitterTokengleichmäßig große Abschnitte, gemessen in Token statt Zeichen
Markdown Header Text Splitterantrennt bevorzugt an Überschriften, Abschnitte bleiben zusammenhängend
Chunk Size1000Länge eines Abschnitts
Chunk Overlap100Überlappung, damit kein Satz an der Grenze verloren geht
Top K5so viele Abschnitte bekommt das Chat-Modell pro Frage

Bestätige ganz unten mit Save. Die Rechnung dahinter: Fünf Abschnitte zu je 1.000 Token sind rund 5.000 Token, und dazu kommen Deine Frage, der bisherige Chatverlauf und die Antwort. Das passt nur, wenn das Chat-Modell ein ausreichend großes Kontextfenster hat, und darum geht es im nächsten Schritt.

Hast Du schon Dokumente hochgeladen, bevor Du das Embedding-Modell gewechselt hast, findest Du auf derselben Seite die Schaltfläche Reindex (deutsch Neu indizieren). Sie berechnet alle Wissensdatenbanken mit dem neuen Modell neu, was bei vielen Dateien eine Weile dauert.

Schritt 3: Das Chat-Modell auf klassisches RAG einstellen

An diesem Schritt scheitern viele Einrichtungen, ohne dass eine Fehlermeldung erscheint. Open WebUI arbeitet standardmäßig mit nativem Function Calling: Die Wissensdatenbank wird nicht automatisch in den Chat gelegt, sondern das Modell bekommt Suchwerkzeuge und muss sie selbst aufrufen. Kleine lokale Modelle tun das oft nicht und antworten dann aus ihrem allgemeinen Wissen, als gäbe es Deine Dokumente gar nicht.

Für lokale Modelle stellst Du deshalb auf das klassische Verfahren um, bei dem Open WebUI die passenden Abschnitte selbst heraussucht. Öffne im Admin Panel den Punkt Settings > Models, klick beim Modell qwen3:8b auf das Stift-Symbol und öffne die Zeile Features:

  1. Schalte Preload files ein (deutsch Datei-Kontext), damit Open WebUI die gefundenen Abschnitte dem Modell vorlegt.
  2. Schalte Builtin Tools aus (deutsch Eingebaute Werkzeuge), damit das Modell keine Suchwerkzeuge bekommt, die es nicht sicher bedient.
  3. Lass File Upload eingeschaltet, sonst verschwindet Preload files aus dem Editor.

Öffne anschließend Advanced Params, stell den Wert num_ctx (Ollama) von Default auf Custom um und trag 8192 ein. Laut Ollama-Doku zur Kontextlänge nutzt Ollama auf Rechnern mit weniger als 24 GB Grafikspeicher sonst nur 4.096 Token, und dann schneidet es einen Teil der gefundenen Abschnitte stillschweigend ab. Ein größerer Wert braucht mehr Arbeitsspeicher, stell ihn also nicht blind auf das Maximum. Speichere das Modell mit Save.

Schritt 4: Wissensdatenbank anlegen und Dokumente hochladen

Jetzt legst Du die Sammlung an, die Du befragen willst. Wechsle links in der Seitenleiste zu Workspace > Knowledge (deutsch Arbeitsbereich > Wissen) und klick auf Create. Gib der Wissensdatenbank einen Namen, der den Inhalt beschreibt, etwa „Handbücher Haustechnik“, und eine kurze Beschreibung.

Öffne die neue Wissensdatenbank und klick auf das + neben dem Suchfeld. Im Menü wählst Du Upload files und markierst Deine Dateien. PDFs, Word-Dokumente, Markdown, Textdateien und CSV verarbeitet Open WebUI direkt. Jede Datei zeigt zunächst einen Verarbeitungsstatus, und Du stellst erst Fragen, wenn alle Dateien fertig sind.

Bevor Du fragst, machst Du die wichtigste Kontrolle: Klick eine hochgeladene Datei an und sieh Dir den indexierten Text an. Genau dieser Text ist alles, was die Suche kennt. Steht dort sauberer Fließtext, ist alles gut. Ist das Feld leer oder voller Zeichensalat, war die Datei ein Scan ohne Textebene oder ist ungewöhnlich aufgebaut, und das Modell wird zu diesem Dokument nie etwas Sinnvolles sagen. Was Du dann tust, steht weiter unten bei den Grenzen.

Mein Rat für den Anfang: Lade zuerst zwei, drei Dokumente hoch, deren Inhalt Du gut kennst. So merkst Du sofort, ob die Antworten stimmen, bevor Du hunderte Dateien einspielst.

Schritt 5: Gute Fragen stellen und Quellen prüfen

Öffne einen neuen Chat, wähl oben qwen3:8b und tipp ins Eingabefeld ein #. In der Liste, die sich öffnet, wählst Du unter Knowledge Deine Wissensdatenbank aus. Sie erscheint dann als Anhang über dem Eingabefeld, und jede Frage in diesem Chat durchsucht sie.

Die Qualität der Antworten hängt stark davon ab, wie Du fragst, weil die Suche Deine Frage mit den Abschnitten vergleicht:

  • Benutze die Begriffe aus dem Dokument. Heißt es im Handbuch „Entkalkung“, findet die Frage nach „Kalk entfernen“ die Stelle zwar oft auch, aber nicht immer.
  • Frag nach einer Sache pro Nachricht. „Wie lange gilt die Garantie für den Kompressor?“ trifft besser als drei Fragen in einem Satz.
  • Sag dem Modell, was es tun soll, wenn nichts passt. Ein Zusatz wie „Antworte nur anhand der Dokumente und sag, wenn die Antwort dort nicht steht“ reduziert erfundene Antworten deutlich.
  • Bitte um Zitate. „Zitiere die Stelle, auf die Du Dich beziehst“ macht die Prüfung leichter.

Unter jeder Antwort zeigt Open WebUI die verwendeten Quellen mit dem Dateinamen an. Klick sie an, und Du siehst die Abschnitte, die das Modell bekommen hat. Das ist Deine Erfolgskontrolle: Steht die Aussage der Antwort wirklich in diesen Abschnitten, kannst Du ihr trauen. Steht sie dort nicht, hat das Modell ergänzt oder geraten. Bei Verträgen, Gesundheitsunterlagen und allem, wo Geld oder Fristen dranhängen, schlägst Du die Stelle immer im Original nach.

Für ein einzelnes kurzes Dokument gibt es eine Abkürzung: Klick im Chat auf die angehängte Wissensdatenbank und wähl Using Entire Document (deutsch Gesamtes Dokument verwenden). Dann bekommt das Modell den kompletten Text statt einzelner Abschnitte. Das lohnt sich nur, solange der ganze Text ins Kontextfenster passt, bei 8.192 Token also für wenige Seiten.

Wo RAG an Grenzen stößt

Die Technik ist stark beim Nachschlagen und schwach überall dort, wo der Überblick über viele Stellen gefragt ist. Diese Fälle solltest Du kennen, bevor Du Dich auf die Antworten verlässt:

  • Gescannte PDFs enthalten nur Bilder, keinen Text. In Settings > Documents gibt es zwar den Schalter PDF Extract Images (OCR), der die Texterkennung auf dem Server übernimmt, aber besser fährst Du, wenn Deine Scans schon durchsuchbar sind. Wie Du Papierpost dauerhaft mit Texterkennung ablegst, zeigt Paperless-ngx: Papierpost scannen und automatisch ablegen. Die so erzeugten PDFs lädst Du dann in Open WebUI hoch.
  • Tabellen verlieren beim Zerlegen oft ihre Struktur. Spaltenüberschrift und Wert landen in verschiedenen Abschnitten, und dann ordnet das Modell Zahlen falsch zu. Rechenfragen wie „Summiere alle Rechnungen von 2025“ beantwortet RAG grundsätzlich nicht zuverlässig, weil das Modell nie alle Zeilen auf einmal sieht.
  • Überblicksfragen über viele Dateien („Fasse alle 80 Protokolle zusammen“) scheitern an Top K: Das Modell bekommt fünf Abschnitte, nicht achtzig Dokumente. Für solche Aufgaben bearbeitest Du die Dateien einzeln.
  • Exakte Kennungen wie Rechnungs- oder Seriennummern findet die Bedeutungssuche schlecht, weil eine Nummer keine „Bedeutung“ hat. Die Option Hybrid Search in Settings > Documents ergänzt die Suche deshalb um eine klassische Stichwortsuche.
  • Mehrere Versionen desselben Dokuments in einer Wissensdatenbank führen zu widersprüchlichen Antworten. Lösch alte Fassungen oder leg pro Version eine eigene Wissensdatenbank an.

Datenschutz-Check

Lokal heißt nur dann lokal, wenn keine Einstellung Daten nach draußen schickt. Diese Punkte prüfst Du einmal nach der Einrichtung:

  1. Inhaltsextraktion: In Settings > Documents steht bei Content Extraction Engine der Eintrag Default. Optionen wie Mistral OCR, Document Intelligence oder Datalab Marker sind Cloud-Dienste, die Deine kompletten Dokumente bekommen würden.
  2. Embedding: Die Embedding Model Engine steht auf Ollama mit http://127.0.0.1:11434, nicht auf OpenAI oder Azure OpenAI.
  3. Chat-Modell: Unter Settings > Connections ist nur Ollama eingerichtet. Hast Du zusätzlich einen Cloud-Anbieter verbunden, achte darauf, dass Du für Chats mit der Wissensdatenbank kein Cloud-Modell auswählst, denn die gefundenen Abschnitte gehen an das Modell, mit dem Du chattest.
  4. Freigabe: Öffne die Wissensdatenbank und prüf unter Access, wer sie sehen darf. Steht sie auf Public, kann jedes Konto auf Deiner Instanz Fragen dazu stellen.
  5. Speicherort: Originaldateien und Vektordatenbank liegen unverschlüsselt im Docker-Volume open-webui. Wer Root-Zugriff auf den Server hat, kann sie lesen, und jedes Backup des Volumes enthält Deine Dokumente. Wie Volumes funktionieren und wo Docker sie ablegt, erklärt Docker Compose verstehen: Volumes, Netzwerke und .env.

Wenn etwas nicht klappt

  • Das Modell antwortet, als gäbe es keine Dokumente: Prüfe, ob die Wissensdatenbank über # im Chat angehängt ist und ob Du im Chat genau das Modell gewählt hast, das Du in Schritt 3 umgestellt hast. Jedes Modell hat seine eigenen Einstellungen.
  • Das Hochladen bricht mit einem Fehler ab: Meist erreicht Open WebUI das Embedding-Modell nicht. ollama list muss bge-m3 anzeigen, und in Settings > Documents muss der Modellname exakt so geschrieben sein. Die Ursache steht in docker compose logs --tail 50 im Ordner /opt/open-webui.
  • Die Antworten treffen daneben, obwohl die Stelle im Dokument steht: Sieh Dir die angezeigten Quellen an. Fehlt die richtige Stelle, formuliere die Frage mit den Begriffen aus dem Dokument neu. Ist der indexierte Text der Datei unbrauchbar, liegt es an der Extraktion und nicht am Modell.

Fazit: Nachschlagewerk, kein Orakel

Mit einem mehrsprachigen Embedding-Modell, klassischem RAG und einem Kontextfenster von 8.192 Token wird Open WebUI zu einem brauchbaren Nachschlagewerk für Deine eigenen Unterlagen, und kein Dokument muss dafür Deinen Rechner verlassen. Am besten funktioniert es bei Handbüchern, Anleitungen und Notizen, in denen Du gezielt nach einer Stelle suchst. Für Tabellen, Rechenaufgaben und Zusammenfassungen ganzer Archive ist es das falsche Werkzeug, und bei allem Wichtigen bleibt der Blick in die angezeigte Quelle Pflicht. Arbeitest Du lieber direkt am Mac, zeigt Dir Ollama auf dem Mac: lokale KI mit MLX nutzen, wie Ollama dort läuft und wie viel Arbeitsspeicher welches Modell braucht.

Weiterlesen.