Zum Inhalt springen
SONOYA.com
KI

Open WebUI mit Ollama: eigenes ChatGPT im Heimnetz

So installierst Du Ollama und Open WebUI per Docker Compose auf einem Linux-Rechner und chattest im Browser mit lokalen KI-Modellen, ohne Cloud und Abo.

Von

Lächelnde Chat-Sprechblase als helles Linien-Icon auf dunklem Weinrot als Sinnbild für eine selbst gehostete KI-Chatoberfläche mit Open WebUI und Ollama

Ollama lädt und betreibt lokale KI-Modelle, bringt aber nur eine Kommandozeile mit. Wer im Browser chatten möchte wie bei ChatGPT, mit Verlauf, Dateiupload und mehreren Benutzern für die Familie oder das Büro, setzt Open WebUI davor. Hier richtest Du beides auf einem Linux-Rechner im Heimnetz ein, sodass jedes Gerät im Netz die Oberfläche nutzen kann und keine einzige Anfrage Dein Haus verlässt.

Die Anleitung bezieht sich auf Open WebUI 0.13 und Ollama 0.40 unter Ubuntu 24.04 und 26.04 sowie Debian 13, jeweils mit Docker Engine 29. Die Befehle habe ich mit der offiziellen Open-WebUI-Dokumentation und der Ollama-Doku für Linux abgeglichen, Stand November 2026. Die compose.yaml aus Schritt 3 habe ich mit docker compose config auf Gültigkeit geprüft, den kompletten Ablauf aber nicht auf einem echten Server durchgespielt.

Was Du brauchst

Entscheidend ist der Arbeitsspeicher, denn das Modell muss komplett hineinpassen. Mit 8 GB RAM laufen kleine Modelle mit rund vier Milliarden Parametern brauchbar, ab 16 GB wird es angenehm, und eine Nvidia-Grafikkarte macht die Antworten deutlich schneller. Welche Modellgröße zu welchem Rechner passt, schlüsselt der Artikel Lokale KI: Welche Hardware reicht für welches Modell? genau auf.

Außerdem brauchst Du:

Schritt 1: Ollama installieren

Ollama läuft direkt auf dem System und nicht im Container. So kann es die Grafikkarte ohne Umwege nutzen, und Du verwaltest die Modelle bequem auf der Kommandozeile. Installiere es mit dem offiziellen Skript:

Code
curl -fsSL https://ollama.com/install.sh | sh

Das Skript legt das Programm an, richtet einen systemd-Dienst ein und startet ihn. Ob alles läuft, prüfst Du mit:

Code
curl http://127.0.0.1:11434

Die Antwort Ollama is running bestätigt, dass der Dienst bereit ist. Er lauscht nur auf 127.0.0.1, ist also aus dem Netz nicht erreichbar, und dabei bleibt es auch.

Schritt 2: Ein erstes Modell laden

Lade ein Modell, das zu Deinem Arbeitsspeicher passt. Für den Einstieg eignet sich Gemma 3 mit vier Milliarden Parametern, das rund 3,4 GB groß ist und auch auf Deutsch ordentlich antwortet:

Code
ollama pull gemma3:4b

Hast Du 16 GB RAM oder mehr, probier zusätzlich qwen3:8b. Einen schnellen Test machst Du direkt im Terminal:

Code
ollama run gemma3:4b "Erkläre in einem Satz, was ein Docker-Volume ist."

Kommt eine sinnvolle Antwort, funktioniert die Grundlage. Die Liste aller verfügbaren Modelle findest Du in der Ollama-Bibliothek.

Schritt 3: Open WebUI mit Docker Compose starten

Lege einen Ordner für Open WebUI an und wechsle hinein:

Code
sudo mkdir -p /opt/open-webui
sudo chown $USER: /opt/open-webui
cd /opt/open-webui

Open WebUI braucht einen festen geheimen Schlüssel, mit dem es die Anmeldungen signiert. Ohne ihn wärst Du nach jedem Update abgemeldet. Dieser Befehl erzeugt einen zufälligen Schlüssel und schreibt ihn in eine .env-Datei:

Code
echo "WEBUI_SECRET_KEY=$(openssl rand -hex 32)" > .env

Öffne jetzt die Compose-Datei:

Code
nano compose.yaml

Füge diesen Inhalt ein:

Code
services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    network_mode: host
    environment:
      - OLLAMA_BASE_URL=http://127.0.0.1:11434
      - WEBUI_SECRET_KEY=${WEBUI_SECRET_KEY}
    volumes:
      - open-webui:/app/backend/data
    restart: unless-stopped

volumes:
  open-webui:
    name: open-webui

Speichere mit Strg + O, bestätige mit Enter und schließe den Editor mit Strg + X.

Die Zeile network_mode: host ist der Kniff dieser Variante: Der Container teilt sich das Netzwerk mit dem Rechner, erreicht Ollama deshalb unter 127.0.0.1 und Du musst Ollama nicht für das ganze Netz öffnen. Open WebUI selbst ist dadurch direkt auf Port 8080 des Rechners erreichbar. Im Volume open-webui liegen alle Benutzer, Chats und Einstellungen. Starte den Container:

Code
docker compose up -d

Der erste Start dauert ein paar Minuten, weil Open WebUI zusätzliche Komponenten herunterlädt. Mit docker compose logs -f siehst Du den Fortschritt, mit Strg + C verlässt Du die Anzeige wieder, ohne den Container zu stoppen.

Schritt 4: Admin-Konto anlegen

Öffne im Browser eines beliebigen Geräts im Heimnetz http://<IP-des-Rechners>:8080 und ersetze <IP-des-Rechners> durch die lokale Adresse Deines Servers, die Dir hostname -I anzeigt. Läuft auf dem Rechner die Firewall ufw, gibst Du den Port vorher mit sudo ufw allow 8080/tcp frei.

Die Startseite begrüßt Dich mit „Get started with Open WebUI“, und Du legst dort über Create Admin Account Dein Konto an. Das erste Konto, das Du hier anlegst, ist automatisch Administrator, und danach schaltet Open WebUI die Registrierung ab, sodass sich niemand sonst ungefragt ein Konto anlegen kann. Leg dieses Konto deshalb sofort nach dem Start an.

Oben links im Modellauswahlfeld erscheint jetzt gemma3:4b. Wähle es aus und stell Deine erste Frage. Die Oberfläche lässt sich übrigens über die Einstellungen auf Deutsch umstellen.

Weitere Modelle und Benutzer hinzufügen

Weitere Modelle lädst Du entweder wie oben mit ollama pull im Terminal oder direkt in der Oberfläche: Tipp den Modellnamen, zum Beispiel qwen3:8b, in das Modellauswahlfeld, und Open WebUI bietet an, ihn herunterzuladen.

Sollen Familie oder Kollegen eigene Konten bekommen, aktivierst Du über Dein Profilbild unter Settings > Authentication im Admin-Bereich die Option New Sign Ups. Neue Konten landen zunächst im Status Pending, bis Du sie im Admin-Bereich freischaltest. So kann sich niemand selbst Zugang verschaffen, der zufällig im WLAN ist.

Von unterwegs solltest Du Port 8080 nicht einfach im Router freigeben. Besser ist der Zugang über ein VPN wie WireGuard oder Tailscale, und wenn Du im Heimnetz eine HTTPS-Adresse haben möchtest, hilft Dir Reverse Proxy mit Caddy: HTTPS für Dienste im Heimnetz weiter.

Open WebUI und Ollama aktualisieren

Open WebUI erscheint in kurzen Abständen in neuen Versionen, und manche davon bauen die Datenbank um. Sichere deshalb vor jedem Update das Volume:

Code
cd /opt/open-webui
docker run --rm -v open-webui:/data -v "$PWD":/backup alpine tar czf /backup/openwebui-backup.tar.gz /data

Der Befehl packt den Inhalt des Volumes in die Datei openwebui-backup.tar.gz im aktuellen Ordner. Danach holst Du die neue Version und startest den Container neu:

Code
docker compose pull
docker compose up -d

Ollama aktualisierst Du, indem Du das Installationsskript aus Schritt 1 einfach noch einmal ausführst. Die geladenen Modelle bleiben dabei erhalten.

Wenn etwas nicht klappt

  • Im Modellauswahlfeld erscheint kein Modell: Prüfe mit curl http://127.0.0.1:11434/api/tags, ob Ollama läuft und Modelle kennt. Steht dort eine leere Liste, lade zuerst ein Modell. Läuft Ollama, schau über Dein Profilbild unter Settings > Connections im Admin-Bereich nach, ob als Ollama-Adresse http://127.0.0.1:11434 eingetragen ist. Ein dort gespeicherter Wert hat Vorrang vor der Angabe in der compose.yaml.
  • Die Seite lädt nicht: Mit docker compose ps siehst Du, ob der Container läuft, und docker compose logs --tail 50 zeigt die letzten Meldungen. Steht dort address already in use, belegt ein anderer Dienst Port 8080, den Du mit sudo ss -ltnp | grep 8080 findest.
  • Die Antworten kommen quälend langsam: Das Modell ist zu groß für den Speicher. ollama ps zeigt in der Spalte PROCESSOR, ob es auf der Grafikkarte oder der CPU läuft. Nimm ein kleineres Modell, bis die Antworten flüssig kommen.

Fazit: Für wen sich das lohnt

Open WebUI vor Ollama ist die einfachste Art, lokale KI für mehrere Menschen im Haushalt oder im kleinen Büro nutzbar zu machen, ohne dass Chats bei einem Cloud-Anbieter landen. Ein aktuelles Cloud-Modell ersetzt es bei schwierigen Aufgaben nicht, für Zusammenfassungen, Formulierungshilfen und Fragen zu eigenen Dokumenten reicht ein gutes 8B-Modell aber oft schon aus. Arbeitest Du am Mac, läuft Ollama dort nativ, wie es Ollama auf dem Mac: lokale KI mit MLX nutzen zeigt. Und dieselbe Ollama-Instanz kann auch Deine Automationen bedienen, wie in n8n mit Ollama: KI-Automationen ohne API-Kosten beschrieben.

Weiterlesen.