Eigene Dokumente lokal befragen: Ollama und Open WebUI
So befragst Du PDFs und Notizen lokal mit Ollama und Open WebUI: Embedding-Modell wählen, Wissensdatenbank anlegen, Quellen prüfen, ohne Cloud-Upload.
Von Nathan Base
Du hast ein Bedienungshandbuch mit 300 Seiten, einen Ordner voller Vertragsunterlagen oder Deine gesammelten Projektnotizen und möchtest einer KI Fragen dazu stellen, ohne die Dateien bei ChatGPT oder einem anderen Cloud-Dienst hochzuladen. Genau dafür hat Open WebUI eine eingebaute Wissensdatenbank, die mit lokalen Modellen aus Ollama zusammenarbeitet. Hier richtest Du sie so ein, dass die Antworten auf Deutsch brauchbar sind, Du jede Aussage an der Quelle nachprüfen kannst und kein Dokument Dein Heimnetz verlässt.
Die Anleitung gilt für Open WebUI 0.13 und Ollama 0.40, Stand November 2026. Menüpfade und Einstellungen habe ich mit der offiziellen Dokumentation zur Wissensdatenbank und zu RAG in Open WebUI abgeglichen. Den kompletten Ablauf mit echten Dokumenten habe ich für diesen Artikel nicht durchgespielt, die Empfehlungen zu Modellen und Werten stützen sich auf die Doku von Open WebUI und Ollama.
RAG in einfachen Worten
Ein Sprachmodell kennt Deine Dokumente nicht, und sein Arbeitsgedächtnis, das Kontextfenster, ist meist viel zu klein, um sie komplett zu lesen. Open WebUI geht deshalb einen Umweg, der Retrieval Augmented Generation heißt, kurz RAG:
- Beim Hochladen zieht Open WebUI den Text aus der Datei und zerlegt ihn in kurze Abschnitte, sogenannte Chunks.
- Ein Embedding-Modell rechnet jeden Abschnitt in eine Zahlenreihe um, die seine Bedeutung beschreibt. Diese Zahlen landen in einer Vektordatenbank, bei Open WebUI standardmäßig ChromaDB im eigenen Datenvolume.
- Stellst Du eine Frage, wird auch sie in Zahlen übersetzt. Open WebUI sucht die Abschnitte heraus, deren Bedeutung am besten passt, und legt sie dem Chat-Modell zusammen mit Deiner Frage vor.
- Das Chat-Modell formuliert die Antwort aus diesen Abschnitten, und Open WebUI zeigt darunter die Dateien an, aus denen sie stammen.
Daraus folgt die wichtigste Regel für alles Weitere: Das Chat-Modell sieht nie das ganze Dokument, sondern nur die paar Abschnitte, die die Suche gefunden hat. Taugt die Suche nichts, hilft auch das klügste Modell nicht.
Ausgangslage: Open WebUI und Ollama laufen
Diese Anleitung baut auf der Installation aus Open WebUI mit Ollama: eigenes ChatGPT im Heimnetz auf. Dort läuft Ollama direkt auf dem Linux-Rechner und lauscht nur auf 127.0.0.1:11434, Open WebUI läuft per Docker Compose aus /opt/open-webui mit network_mode: host und ist im Heimnetz unter http://<IP-des-Rechners>:8080 erreichbar. An der compose.yaml musst Du für diesen Artikel nichts ändern, denn alle RAG-Einstellungen nimmst Du in der Oberfläche vor.
Ob beides läuft, prüfst Du auf dem Server mit:
curl http://127.0.0.1:11434
cd /opt/open-webui
docker compose psDer erste Befehl muss Ollama is running melden, der letzte den Container open-webui mit dem Status Up zeigen. Du brauchst außerdem das Admin-Konto, das Du bei der Installation angelegt hast. Beim Arbeitsspeicher solltest Du mit mindestens 16 GB rechnen, weil Chat-Modell und Embedding-Modell gleichzeitig geladen sind und das größere Kontextfenster aus Schritt 3 zusätzlich Speicher belegt. Was mit weniger RAM noch geht, steht in Lokale KI: Welche Hardware reicht für welches Modell?.
Schritt 1: Embedding- und Chat-Modell laden
Open WebUI bringt ein eigenes Embedding-Modell mit, all-MiniLM-L6-v2. Es läuft ohne Einrichtung, ist aber auf englische Texte trainiert und findet in deutschen Dokumenten spürbar schlechter die richtigen Stellen. Für deutsche Unterlagen nimmst Du deshalb ein mehrsprachiges Modell aus Ollama. Meine Empfehlung ist bge-m3: Es unterstützt über 100 Sprachen, verarbeitet Abschnitte bis 8.192 Token und ist mit 1,2 GB klein genug, um neben dem Chat-Modell im Speicher zu bleiben.
ollama pull bge-m3Als Chat-Modell eignet sich bei 16 GB RAM qwen3:8b, das auch in der Grundanleitung vorkommt. Hast Du es noch nicht geladen, holst Du es jetzt:
ollama pull qwen3:8bOb das Embedding-Modell arbeitet, testest Du direkt über die Ollama-API:
curl http://127.0.0.1:11434/api/embed -d '{"model": "bge-m3", "input": "Wie lange gilt die Garantie?"}'Kommt eine lange Antwort zurück, die mit {"model":"bge-m3","embeddings":[[ beginnt, ist das Modell bereit.
Schritt 2: Open WebUI auf das neue Embedding-Modell umstellen
Stell das Embedding-Modell um, bevor Du das erste Dokument hochlädst, denn Abschnitte, die ein anderes Embedding-Modell berechnet hat, passen nicht zu Fragen, die mit dem neuen berechnet werden.
Klick auf Dein Profilbild, öffne Admin Panel und dort Settings > Documents. Hast Du die Oberfläche auf Deutsch umgestellt, heißen die Punkte Admin-Bereich und Einstellungen > Dokumente. Im Abschnitt Embedding stellst Du Folgendes ein:
- Bei
Embedding Model Enginewählst DuOllama. - Als
API Base URLträgst Duhttp://127.0.0.1:11434ein. Das funktioniert, weil der Container danknetwork_mode: hostdas Netzwerk des Rechners mitbenutzt. - Das Feld für den API-Schlüssel bleibt leer.
- Bei
Embedding Modelträgst Dubge-m3ein.
Darunter im Abschnitt Retrieval passt Du die Werte an ein lokales Modell mit begrenztem Kontextfenster an. Die Doku von Open WebUI empfiehlt für diesen Fall:
| Einstellung | Wert | Wozu |
|---|---|---|
Text Splitter | Token | gleichmäßig große Abschnitte, gemessen in Token statt Zeichen |
Markdown Header Text Splitter | an | trennt bevorzugt an Überschriften, Abschnitte bleiben zusammenhängend |
Chunk Size | 1000 | Länge eines Abschnitts |
Chunk Overlap | 100 | Überlappung, damit kein Satz an der Grenze verloren geht |
Top K | 5 | so viele Abschnitte bekommt das Chat-Modell pro Frage |
Bestätige ganz unten mit Save. Die Rechnung dahinter: Fünf Abschnitte zu je 1.000 Token sind rund 5.000 Token, und dazu kommen Deine Frage, der bisherige Chatverlauf und die Antwort. Das passt nur, wenn das Chat-Modell ein ausreichend großes Kontextfenster hat, und darum geht es im nächsten Schritt.
Hast Du schon Dokumente hochgeladen, bevor Du das Embedding-Modell gewechselt hast, findest Du auf derselben Seite die Schaltfläche Reindex (deutsch Neu indizieren). Sie berechnet alle Wissensdatenbanken mit dem neuen Modell neu, was bei vielen Dateien eine Weile dauert.
Schritt 3: Das Chat-Modell auf klassisches RAG einstellen
An diesem Schritt scheitern viele Einrichtungen, ohne dass eine Fehlermeldung erscheint. Open WebUI arbeitet standardmäßig mit nativem Function Calling: Die Wissensdatenbank wird nicht automatisch in den Chat gelegt, sondern das Modell bekommt Suchwerkzeuge und muss sie selbst aufrufen. Kleine lokale Modelle tun das oft nicht und antworten dann aus ihrem allgemeinen Wissen, als gäbe es Deine Dokumente gar nicht.
Für lokale Modelle stellst Du deshalb auf das klassische Verfahren um, bei dem Open WebUI die passenden Abschnitte selbst heraussucht. Öffne im Admin Panel den Punkt Settings > Models, klick beim Modell qwen3:8b auf das Stift-Symbol und öffne die Zeile Features:
- Schalte
Preload filesein (deutschDatei-Kontext), damit Open WebUI die gefundenen Abschnitte dem Modell vorlegt. - Schalte
Builtin Toolsaus (deutschEingebaute Werkzeuge), damit das Modell keine Suchwerkzeuge bekommt, die es nicht sicher bedient. - Lass
File Uploadeingeschaltet, sonst verschwindetPreload filesaus dem Editor.
Öffne anschließend Advanced Params, stell den Wert num_ctx (Ollama) von Default auf Custom um und trag 8192 ein. Laut Ollama-Doku zur Kontextlänge nutzt Ollama auf Rechnern mit weniger als 24 GB Grafikspeicher sonst nur 4.096 Token, und dann schneidet es einen Teil der gefundenen Abschnitte stillschweigend ab. Ein größerer Wert braucht mehr Arbeitsspeicher, stell ihn also nicht blind auf das Maximum. Speichere das Modell mit Save.
Schritt 4: Wissensdatenbank anlegen und Dokumente hochladen
Jetzt legst Du die Sammlung an, die Du befragen willst. Wechsle links in der Seitenleiste zu Workspace > Knowledge (deutsch Arbeitsbereich > Wissen) und klick auf Create. Gib der Wissensdatenbank einen Namen, der den Inhalt beschreibt, etwa „Handbücher Haustechnik“, und eine kurze Beschreibung.
Öffne die neue Wissensdatenbank und klick auf das + neben dem Suchfeld. Im Menü wählst Du Upload files und markierst Deine Dateien. PDFs, Word-Dokumente, Markdown, Textdateien und CSV verarbeitet Open WebUI direkt. Jede Datei zeigt zunächst einen Verarbeitungsstatus, und Du stellst erst Fragen, wenn alle Dateien fertig sind.
Bevor Du fragst, machst Du die wichtigste Kontrolle: Klick eine hochgeladene Datei an und sieh Dir den indexierten Text an. Genau dieser Text ist alles, was die Suche kennt. Steht dort sauberer Fließtext, ist alles gut. Ist das Feld leer oder voller Zeichensalat, war die Datei ein Scan ohne Textebene oder ist ungewöhnlich aufgebaut, und das Modell wird zu diesem Dokument nie etwas Sinnvolles sagen. Was Du dann tust, steht weiter unten bei den Grenzen.
Mein Rat für den Anfang: Lade zuerst zwei, drei Dokumente hoch, deren Inhalt Du gut kennst. So merkst Du sofort, ob die Antworten stimmen, bevor Du hunderte Dateien einspielst.
Schritt 5: Gute Fragen stellen und Quellen prüfen
Öffne einen neuen Chat, wähl oben qwen3:8b und tipp ins Eingabefeld ein #. In der Liste, die sich öffnet, wählst Du unter Knowledge Deine Wissensdatenbank aus. Sie erscheint dann als Anhang über dem Eingabefeld, und jede Frage in diesem Chat durchsucht sie.
Die Qualität der Antworten hängt stark davon ab, wie Du fragst, weil die Suche Deine Frage mit den Abschnitten vergleicht:
- Benutze die Begriffe aus dem Dokument. Heißt es im Handbuch „Entkalkung“, findet die Frage nach „Kalk entfernen“ die Stelle zwar oft auch, aber nicht immer.
- Frag nach einer Sache pro Nachricht. „Wie lange gilt die Garantie für den Kompressor?“ trifft besser als drei Fragen in einem Satz.
- Sag dem Modell, was es tun soll, wenn nichts passt. Ein Zusatz wie „Antworte nur anhand der Dokumente und sag, wenn die Antwort dort nicht steht“ reduziert erfundene Antworten deutlich.
- Bitte um Zitate. „Zitiere die Stelle, auf die Du Dich beziehst“ macht die Prüfung leichter.
Unter jeder Antwort zeigt Open WebUI die verwendeten Quellen mit dem Dateinamen an. Klick sie an, und Du siehst die Abschnitte, die das Modell bekommen hat. Das ist Deine Erfolgskontrolle: Steht die Aussage der Antwort wirklich in diesen Abschnitten, kannst Du ihr trauen. Steht sie dort nicht, hat das Modell ergänzt oder geraten. Bei Verträgen, Gesundheitsunterlagen und allem, wo Geld oder Fristen dranhängen, schlägst Du die Stelle immer im Original nach.
Für ein einzelnes kurzes Dokument gibt es eine Abkürzung: Klick im Chat auf die angehängte Wissensdatenbank und wähl Using Entire Document (deutsch Gesamtes Dokument verwenden). Dann bekommt das Modell den kompletten Text statt einzelner Abschnitte. Das lohnt sich nur, solange der ganze Text ins Kontextfenster passt, bei 8.192 Token also für wenige Seiten.
Wo RAG an Grenzen stößt
Die Technik ist stark beim Nachschlagen und schwach überall dort, wo der Überblick über viele Stellen gefragt ist. Diese Fälle solltest Du kennen, bevor Du Dich auf die Antworten verlässt:
- Gescannte PDFs enthalten nur Bilder, keinen Text. In
Settings > Documentsgibt es zwar den SchalterPDF Extract Images (OCR), der die Texterkennung auf dem Server übernimmt, aber besser fährst Du, wenn Deine Scans schon durchsuchbar sind. Wie Du Papierpost dauerhaft mit Texterkennung ablegst, zeigt Paperless-ngx: Papierpost scannen und automatisch ablegen. Die so erzeugten PDFs lädst Du dann in Open WebUI hoch. - Tabellen verlieren beim Zerlegen oft ihre Struktur. Spaltenüberschrift und Wert landen in verschiedenen Abschnitten, und dann ordnet das Modell Zahlen falsch zu. Rechenfragen wie „Summiere alle Rechnungen von 2025“ beantwortet RAG grundsätzlich nicht zuverlässig, weil das Modell nie alle Zeilen auf einmal sieht.
- Überblicksfragen über viele Dateien („Fasse alle 80 Protokolle zusammen“) scheitern an
Top K: Das Modell bekommt fünf Abschnitte, nicht achtzig Dokumente. Für solche Aufgaben bearbeitest Du die Dateien einzeln. - Exakte Kennungen wie Rechnungs- oder Seriennummern findet die Bedeutungssuche schlecht, weil eine Nummer keine „Bedeutung“ hat. Die Option
Hybrid SearchinSettings > Documentsergänzt die Suche deshalb um eine klassische Stichwortsuche. - Mehrere Versionen desselben Dokuments in einer Wissensdatenbank führen zu widersprüchlichen Antworten. Lösch alte Fassungen oder leg pro Version eine eigene Wissensdatenbank an.
Datenschutz-Check
Lokal heißt nur dann lokal, wenn keine Einstellung Daten nach draußen schickt. Diese Punkte prüfst Du einmal nach der Einrichtung:
- Inhaltsextraktion: In
Settings > Documentssteht beiContent Extraction Engineder EintragDefault. Optionen wieMistral OCR,Document IntelligenceoderDatalab Markersind Cloud-Dienste, die Deine kompletten Dokumente bekommen würden. - Embedding: Die
Embedding Model Enginesteht aufOllamamithttp://127.0.0.1:11434, nicht aufOpenAIoderAzure OpenAI. - Chat-Modell: Unter
Settings > Connectionsist nur Ollama eingerichtet. Hast Du zusätzlich einen Cloud-Anbieter verbunden, achte darauf, dass Du für Chats mit der Wissensdatenbank kein Cloud-Modell auswählst, denn die gefundenen Abschnitte gehen an das Modell, mit dem Du chattest. - Freigabe: Öffne die Wissensdatenbank und prüf unter
Access, wer sie sehen darf. Steht sie aufPublic, kann jedes Konto auf Deiner Instanz Fragen dazu stellen. - Speicherort: Originaldateien und Vektordatenbank liegen unverschlüsselt im Docker-Volume
open-webui. Wer Root-Zugriff auf den Server hat, kann sie lesen, und jedes Backup des Volumes enthält Deine Dokumente. Wie Volumes funktionieren und wo Docker sie ablegt, erklärt Docker Compose verstehen: Volumes, Netzwerke und .env.
Wenn etwas nicht klappt
- Das Modell antwortet, als gäbe es keine Dokumente: Prüfe, ob die Wissensdatenbank über
#im Chat angehängt ist und ob Du im Chat genau das Modell gewählt hast, das Du in Schritt 3 umgestellt hast. Jedes Modell hat seine eigenen Einstellungen. - Das Hochladen bricht mit einem Fehler ab: Meist erreicht Open WebUI das Embedding-Modell nicht.
ollama listmussbge-m3anzeigen, und inSettings > Documentsmuss der Modellname exakt so geschrieben sein. Die Ursache steht indocker compose logs --tail 50im Ordner/opt/open-webui. - Die Antworten treffen daneben, obwohl die Stelle im Dokument steht: Sieh Dir die angezeigten Quellen an. Fehlt die richtige Stelle, formuliere die Frage mit den Begriffen aus dem Dokument neu. Ist der indexierte Text der Datei unbrauchbar, liegt es an der Extraktion und nicht am Modell.
Fazit: Nachschlagewerk, kein Orakel
Mit einem mehrsprachigen Embedding-Modell, klassischem RAG und einem Kontextfenster von 8.192 Token wird Open WebUI zu einem brauchbaren Nachschlagewerk für Deine eigenen Unterlagen, und kein Dokument muss dafür Deinen Rechner verlassen. Am besten funktioniert es bei Handbüchern, Anleitungen und Notizen, in denen Du gezielt nach einer Stelle suchst. Für Tabellen, Rechenaufgaben und Zusammenfassungen ganzer Archive ist es das falsche Werkzeug, und bei allem Wichtigen bleibt der Blick in die angezeigte Quelle Pflicht. Arbeitest Du lieber direkt am Mac, zeigt Dir Ollama auf dem Mac: lokale KI mit MLX nutzen, wie Ollama dort läuft und wie viel Arbeitsspeicher welches Modell braucht.
Weiterlesen.
-
KIOpen WebUI mit Ollama: eigenes ChatGPT im Heimnetz
So installierst Du Ollama und Open WebUI per Docker Compose auf einem Linux-Rechner und chattest im Browser mit lokalen KI-Modellen, ohne Cloud und Abo.
Nathan Base -
KILokale KI: Welche Hardware reicht für welches Modell?
Wie viel RAM oder VRAM braucht ein lokales KI-Modell? Mit der Faustformel rechnest Du jedes Modell selbst aus, dazu Mac oder Grafikkarte und Kauftipps.
Nathan Base -
Raspberry Pi & LinuxPaperless-ngx: Papierpost scannen und automatisch ablegen
Paperless-ngx mit Docker installieren, Briefe per iPhone scannen, deutsche Texterkennung einstellen und Rechnungen automatisch sortieren lassen.
Nathan Base -
KIOllama auf dem Mac: lokale KI mit MLX nutzen
Ollama auf dem Mac: lokale Modelle nach Arbeitsspeicher wählen und mit OpenCode, Claude Code oder Codex, VS Code, Docker und GitHub programmieren.
Nathan Base -
KIOdysseus: Eigener KI-Workspace mit lokalen Modellen
Odysseus ist ein Open-Source-KI-Workspace für die eigene Hardware. So installierst Du ihn mit Docker und lädst Dein erstes lokales Modell.
Nathan Base -
KICrewAI: KI-Agenten als Team Aufgaben erledigen lassen
Mit dem Python-Framework CrewAI arbeiten mehrere KI-Agenten mit eigenen Rollen zusammen. Installation, erstes Projekt und sinnvolle Einsätze.
Nathan Base