Lokale KI
Eigene Oberfläche für lokale Modelle
Kurzantwort
Open WebUI ist eine Chatoberfläche im Browser, die du selbst betreibst und mit Ollama oder einem anderen lokalen Server verbindest2. Am schnellsten läuft sie als Docker-Container auf Port 3000, alternativ mit Python und dem Befehl open-webui serve1. Wer allein am Rechner arbeitet und vor allem Dokumente befragen will, kommt mit der Desktop-App AnythingLLM ohne Server aus5.

Ein Sprachmodell in Ollama zu starten, dauert Minuten. Für den Alltag fehlt dann aber einiges: ein Chatverlauf, den du wiederfindest, Konten für die Familie oder Kollegen, ein Ort für Dokumente. Diese Lücke füllt Open WebUI, eine Weboberfläche, die laut Projekt vollständig offline laufen kann und sich mit Ollama oder mit Schnittstellen im OpenAI-Format verbindet2. Ollama listet sie unter den Weboberflächen seiner Gemeinschaftsprojekte9. Wir beschreiben die Einrichtung nach der offiziellen Dokumentation; die Installation von Ollama selbst steht in der Anleitung Ollama installieren.
Was vorher laufen muss
Open WebUI rechnet nicht selbst, es reicht deine Fragen an ein Modell weiter. Deshalb brauchst du zuerst einen laufenden Ollama-Server oder ein anderes Programm mit OpenAI-kompatibler Schnittstelle, etwa LM Studio. Ollama wartet standardmäßig unter http://localhost:11434 auf Anfragen8.
Für Open WebUI selbst gibt es zwei Wege. Der eine ist Docker, der andere eine Installation mit Python, wobei die Versionen 3.11 und 3.12 unterstützt werden; Python 3.13 wird nicht unterstützt, weil für einige Abhängigkeiten keine passende Fassung vorliegt1. Unter Windows setzt Docker Desktop mit WSL 2 Windows 10 in der Version 22H2 (Build 19045) oder Windows 11 ab 23H2 voraus, dazu 8 GB Arbeitsspeicher11. Für private Nutzung und kleine Firmen mit weniger als 250 Beschäftigten und unter 10 Millionen US-Dollar Jahresumsatz ist Docker Desktop kostenlos11.
Weg 1: Open WebUI mit Docker
Läuft Ollama direkt auf deinem Rechner, startet dieser Befehl Open WebUI in einem Container1:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=dein-schluessel --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Die einzelnen Teile haben jeweils eine Aufgabe1:
- -p 3000:8080 macht die Oberfläche unter http://localhost:3000 erreichbar.
- --add-host=host.docker.internal:host-gateway erlaubt dem Container, Ollama auf deinem Rechner zu erreichen. Ohne weitere Angabe sucht Open WebUI dort unter Port 11434.
- -v open-webui:/app/backend/data legt Chats, Benutzer und Einstellungen in einem Docker-Volume ab, das Updates übersteht. Der Pfad muss genau so lauten.
- WEBUI_SECRET_KEY ersetzt du durch einen zufälligen Wert, zum Beispiel aus openssl rand -hex 32, und änderst ihn danach nicht mehr.
- --restart always startet den Container nach jedem Neustart des Rechners mit.
Läuft Ollama auf einem anderen Rechner im Netz, ergänzt du -e OLLAMA_BASE_URL=http://server:11434 mit der Adresse dieses Rechners1. Dort muss Ollama dann auf Anfragen aus dem Netz hören, was du mit OLLAMA_HOST=0.0.0.0:11434 einstellst7. Neben dem Standardabbild :main gibt es zwei Varianten. :cuda braucht das NVIDIA Container Toolkit und rechnet die eigenen Hilfsmodelle von Open WebUI auf der Grafikkarte, also Einbettung, Neusortierung und Spracherkennung; das Tempo im Chat hängt weiter allein an Ollama1. :ollama bringt Ollama gleich im selben Container mit1.
Für ein Update hältst du den Container an, entfernst ihn, lädst das Abbild mit demselben Kennzeichen neu und startest wieder mit demselben Befehl; deine Daten bleiben im Volume1. Das Werkzeug Watchtower nimmt dir diese Schritte ab1. Läuft Ollama ebenfalls in Docker, etwa auf einem NAS, gilt für seinen Container dasselbe Vorgehen.
Weg 2: Python statt Docker
Ohne Docker installierst du Open WebUI als Python-Paket: pip install open-webui, danach open-webui serve1. Die Oberfläche öffnest du dann unter http://localhost:8080; einen anderen Port wählst du mit open-webui serve --port 30001. Wo Open WebUI seine Daten ablegt, bestimmt die Variable DATA_DIR. Eine Datei .env im Startordner liest die pip-Installation nicht1.
Unter Windows ist der Weg über das Werkzeug uv bequem, weil er die passende Python-Version im Befehl festlegt. Die Dokumentation nennt für PowerShell diese Zeile: $env:DATA_DIR="C:\open-webui\data"; uvx --python 3.12 open-webui@latest serve1. Auch hier läuft die Oberfläche danach unter Port 8080. Für einen Rechner, der dauerhaft im Hintergrund läuft, ist Docker die robustere Wahl, weil der Container nach einem Neustart von selbst wieder anläuft.
Wenn keine Modelle erscheinen
Bleibt die Modellauswahl nach dem ersten Start leer, gehst du der Reihe nach vor:
- Prüfe auf dem Rechner mit Ollama, ob überhaupt ein Modell vorhanden ist. ollama ls listet alle heruntergeladenen Modelle; fehlt eines, lädst du es mit ollama pull12.
- Öffne http://localhost:11434 im Browser des Ollama-Rechners. Antwortet dort nichts, läuft der Dienst nicht8.
- Läuft Open WebUI im Container, muss der Startbefehl die Option --add-host=host.docker.internal:host-gateway enthalten, sonst findet der Container den Rechner nicht1.
- Steht Ollama auf einem anderen Gerät, kontrolliere OLLAMA_BASE_URL im Container und OLLAMA_HOST auf dem Ollama-Rechner17.
Kommen die Antworten sehr langsam, prüf mit ollama ps, ob das Modell ganz auf der Grafikkarte rechnet oder teilweise in den Arbeitsspeicher ausweicht7.
Erstes Konto und weitere Benutzer
Beim ersten Aufruf zeigt Open WebUI die Seite "Create Admin Account". Dieses erste Konto ist der Administrator und verwaltet alle Benutzer und Einstellungen der Installation; die Registrierung schaltet sich danach von selbst ab1. Sollen weitere Personen mitmachen, aktivierst du im Adminbereich neue Anmeldungen. Neue Konten warten dann im Zustand Pending, bis du sie freigibst1.
Für Familien und kleine Teams genügt ein Administrator mit einzeln freigegebenen Konten. Größere Installationen arbeiten mit Rollen, Gruppen und Rechten je Ressource: Du legst fest, welche Gruppe welches Modell sehen darf, und bindest auf Wunsch eine zentrale Anmeldung per SSO oder LDAP sowie eine Zwei-Faktor-Abfrage ein3.
Wer Open WebUI im Unternehmen einsetzt, sollte die Lizenz kennen. Bis Version 0.6.5 stand der Code unter BSD-3-Clause. Seit Version 0.6.6 vom 19.04.2025 darfst du den Namen und das Logo "Open WebUI" nicht entfernen oder verändern, es sei denn, die Installation hat höchstens 50 Benutzer in 30 Tagen oder du hast eine Enterprise-Lizenz4. Ein eigenes Firmenlogo statt des Projektnamens ist also erst mit einer solchen Lizenz erlaubt. Für den Betrieb im Unternehmen kommen Fragen zu Hardware, Kosten und Zuständigkeit dazu (Lokale KI im Unternehmen).
Dokumente und Wissenssammlungen
Dateien hängst du direkt an eine Chatnachricht oder legst sie dauerhaft in einer Wissenssammlung ab. Open WebUI zerlegt die Texte, speichert sie als Embeddings in einer Vektordatenbank und gibt bei einer Frage die passenden Stellen an das Modell weiter. Dieses Verfahren heißt RAG. Laut Dokumentation stehen acht Verfahren zum Auslesen von Dokumenten und 13 Vektordatenbanken zur Wahl; gesucht wird kombiniert nach Stichworten und Bedeutung, mit einer anschließenden Neusortierung3. Für kurze Unterlagen gibt es die Option "Always Use Full Text", die das ganze Dokument ohne Zerlegen einfügt3.
Dazu kommen eine Websuche mit Quellenangaben sowie Spracheingabe und Sprachausgabe3. Wie gut die Antworten auf Dokumente ausfallen, hängt stark vom Modell und von der Länge seines Kontexts ab. Für eine Firmenlösung mit vielen Dokumenten lohnt der Blick in unseren Beitrag zum RAG-System; wer Audiodateien zuerst in Text verwandeln will, findet die Werkzeuge unter Lokale Transkription.
LM Studio und andere Server anbinden
Open WebUI arbeitet mit jedem Server, der die OpenAI-Schnittstelle spricht. Im Adminbereich trägst du unter "Manage OpenAI API Connections" die Adresse und einen Schlüssel ein; die Modelle erscheinen danach automatisch in der Auswahl1. Manche Server liefern keine Modellliste, dann trägst du die Namen von Hand im Feld Model IDs ein1.
Für LM Studio lautet die Basisadresse http://localhost:1234/v110. Läuft Open WebUI im Docker-Container, zeigt localhost allerdings auf den Container selbst. Dort nutzt du stattdessen host.docker.internal, das der Startbefehl oben mit dem Rechner verbindet12.
AnythingLLM als Alternative
AnythingLLM verfolgt einen anderen Ansatz. Die Desktop-App installierst du wie ein normales Programm unter macOS (Apple-Chip und Intel), Windows (x64 und ARM) oder Linux, ein Konto brauchst du nicht5. Sie liest PDF-, Text- und Word-Dateien ein, speichert sie standardmäßig in der Vektordatenbank LanceDB und verbindet sich unter anderem mit Ollama und LM Studio6. Agenten in den Arbeitsbereichen können das Web durchsuchen6. Der Code steht unter MIT-Lizenz6.
Zum Datenschutz gibt es zwei Aussagen. Die Produktseite verspricht, Modelle, Dokumente und Chatverläufe blieben auf dem eigenen Rechner5. Das README beschreibt zugleich eine Telemetrie, die anonyme Nutzungsdaten wie das Hinzufügen von Dokumenten oder das Absenden von Chats an PostHog meldet, ohne deren Inhalt; abschalten lässt sie sich im Bereich Privacy der Seitenleiste oder mit DISABLE_TELEMETRY6. Wir würden sie vor dem ersten Dokument abschalten.
Bei der Frage "AnythingLLM oder Open WebUI" entscheidet die Zahl der Nutzer. Mehrere Benutzer mit Rechten gibt es bei AnythingLLM nur in der Docker-Fassung6. Für eine Person, die ihre Unterlagen am eigenen Rechner befragen will, ist die Desktop-App der kürzere Weg. Sobald mehrere Leute über den Browser auf dieselben Modelle zugreifen, ist Open WebUI mit Rollen, Gruppen und zentraler Anmeldung die passendere Lösung.

Was das für dich heißt
Mit laufendem Ollama und Docker steht deine eigene Chatoberfläche nach einem einzigen Befehl im Browser.
- Erzeuge den geheimen Schlüssel einmal und bewahre ihn auf.
- Leg das Administratorkonto sofort nach dem Start an, bevor jemand anderes die Seite öffnet.
- Gib neue Konten erst frei, wenn du weißt, wer sie angelegt hat.
- Schalte in AnythingLLM die Telemetrie ab, bevor du Dokumente einliest.
Häufige Fragen
Läuft Open WebUI ohne Internet?
Ja, das Projekt ist laut README für den vollständigen Offline-Betrieb gebaut2. Für die Installation und für Updates brauchst du eine Verbindung, ebenso für die Websuche im Chat.
Braucht Open WebUI eine eigene Grafikkarte?
Gehen beim Update meine Chats verloren?
Nicht, solange der Container mit demselben Volume unter /app/backend/data läuft1. Das Volume übersteht das Entfernen und Neuanlegen des Containers.
Darf ich Open WebUI mit eigenem Logo betreiben?
Nur mit höchstens 50 Benutzern in 30 Tagen oder mit einer Enterprise-Lizenz4. Sonst müssen Name und Logo von Open WebUI sichtbar bleiben.
Quellen
Stand:
- Open WebUI: Quick Start (Dokumentation), abgerufen am 22.11.2026. zurück
- Open WebUI: Projektseite auf GitHub (README), abgerufen am 22.11.2026. zurück
- Open WebUI: Funktionen (Dokumentation), abgerufen am 22.11.2026. zurück
- Open WebUI: Lizenz und Markenvorgaben, abgerufen am 22.11.2026. zurück
- Mintplex Labs: AnythingLLM Desktop (Produktseite), abgerufen am 22.11.2026. zurück
- Mintplex Labs: AnythingLLM auf GitHub (README), abgerufen am 22.11.2026. zurück
- Ollama: Häufige Fragen (FAQ), abgerufen am 22.11.2026. zurück
- Ollama: Installation unter Windows (Dokumentation), abgerufen am 22.11.2026. zurück
- Ollama: Quellcode auf GitHub (README), abgerufen am 22.11.2026. zurück
- LM Studio (Element Labs): OpenAI-kompatible Endpunkte, abgerufen am 22.11.2026. zurück
- Docker: Desktop unter Windows installieren (Dokumentation), abgerufen am 22.11.2026. zurück
- Ollama: CLI-Referenz, abgerufen am 22.11.2026. zurück



