Lokale KI
KI auf NAS und Raspberry Pi
Kurzantwort
Auf einem Raspberry Pi 5 mit 8 oder 16 GB laufen kleine Sprachmodelle mit 1 bis 4 Milliarden Parametern über Ollama auf dem Prozessor14. Auf einem NAS startest du Ollama als Docker-Container. Beides eignet sich für kurze Fragen und einfache Aufgaben, die Antworten kommen aber deutlich langsamer als auf einem PC mit Grafikkarte.

Ein Raspberry Pi 5 oder ein NAS mit Docker kann ein kleines Sprachmodell ausführen, und die Einrichtung dauert keine Stunde. Du installierst Ollama, lädst ein Modell mit 1 bis 4 Milliarden Parametern und sprichst es über die Kommandozeile oder über das Netz an24. Erwarte keine Geschwindigkeit wie am PC: Ohne Grafikkarte rechnet der Prozessor allein, und eine längere Antwort braucht spürbar Zeit. Für Zusammenfassungen kurzer Texte, einfache Fragen oder als Baustein in der Hausautomation reicht das.
Was auf schwacher Hardware realistisch ist
Der Raspberry Pi 5 hat vier Rechenkerne vom Typ Cortex-A76 mit 2,4 GHz und wahlweise 1, 2, 4, 8 oder 16 GB Arbeitsspeicher1. Für Sprachmodelle kommen nur die Fassungen mit 8 und 16 GB infrage, denn das Modell muss komplett in den Arbeitsspeicher passen, und das Betriebssystem will auch seinen Teil.
Passend sind kleine Modelle. In der Ollama-Bibliothek ist Gemma 3 mit 270 Millionen Parametern 292 MB groß, mit 1 Milliarde 806 MB5. Qwen3 gibt es mit 0,6 Milliarden Parametern in 523 MB und mit 1,7 Milliarden in 1,4 GB4. Llama 3.2 mit 1 und 3 Milliarden Parametern belegt 1,3 und 2,0 GB und unterstützt laut Bibliothek offiziell Deutsch6. Mit 16 GB passt sogar mehr: Jeff Geerling hat auf einem Pi 5 mit 16 GB ein auf rund 10 GB verkleinertes Qwen3 30B A3B mit llama.cpp betrieben9.
Beim Tempo hilft ein Blick auf unabhängige Tests. Geerling verglich den Prozessor des Pi 5 mit dem Beschleuniger Hailo-10H auf dem AI HAT+ 2 und fand den Prozessor in den meisten Fällen deutlich schneller; nur bei Qwen2.5 Coder 1.5B lag der Hailo nah dran9. Der Beschleuniger ist dafür sparsamer: Er braucht höchstens 3 Watt, der Chip des Pi darf bis 10 Watt ziehen9. Hailo selbst nennt für Qwen2.5 1.5B eine Verarbeitung von 96 Prompt-Tokens in 320 Millisekunden statt 2.039 Millisekunden auf dem Prozessor10. Das betrifft das Einlesen des Prompts, die Ausgabe Wort für Wort ist ein anderes Thema.
Eigene Messungen auf einem Raspberry Pi haben wir nicht, unser Testpark besteht aus zwei Grafikkarten. Wer Zahlen von dort sucht, findet sie in Lokale KI für Einsteiger.
Voraussetzungen
Für den Raspberry Pi brauchst du:
- einen Raspberry Pi 5 mit 8 oder 16 GB Arbeitsspeicher1
- das offizielle Netzteil mit 27 Watt oder ein gleichwertiges mit 5 Volt und 5 Ampere1
- eine microSD-Karte oder besser eine SSD und den Raspberry Pi Imager zum Einrichten3
- einen aktiven Kühler, weil der Prozessor beim Rechnen lange unter Volllast steht
- eine Internetverbindung für die Installation und den ersten Download des Modells
Für das NAS brauchst du ein Gerät, auf dem Docker läuft, bei Synology das Paket Container Manager7. Prüfe im Paket-Zentrum, ob es für dein Modell angeboten wird, und plane mindestens 8 GB Arbeitsspeicher ein. Viele NAS haben ab Werk weniger, und ein Sprachmodell teilt sich den Speicher mit allen anderen Diensten.

Ollama auf dem Raspberry Pi einrichten
- Schreib mit dem Raspberry Pi Imager eine 64-Bit-Fassung von Raspberry Pi OS auf die Karte oder SSD3. Ollama bietet für Linux ein Paket für ARM64 an und nennt keine 32-Bit-Fassung2.
- Starte den Pi, verbinde ihn mit dem Netz und bring das System mit "sudo apt update" und "sudo apt full-upgrade" auf den neuesten Stand.
- Installier Ollama mit dem Skript des Anbieters: "curl -fsSL https://ollama.com/install.sh | sh"2. Das Skript richtet Ollama als Dienst ein, der beim Start mitläuft.
- Lade ein kleines Modell und starte den Chat, zum Beispiel mit "ollama run gemma3:1b" oder "ollama run qwen3:1.7b"45. Der erste Aufruf lädt die Datei herunter, danach läuft alles ohne Internet.
- Prüf in einem zweiten Fenster mit "ollama ps", wo das Modell liegt. Auf dem Pi steht dort "100% CPU", weil keine Grafikkarte da ist8.
- Soll der Pi Anfragen aus dem Heimnetz annehmen, öffnest du mit "systemctl edit ollama.service" die Einstellungen und trägst unter [Service] die Zeile Environment="OLLAMA_HOST=0.0.0.0:11434" ein. Danach "systemctl daemon-reload" und "systemctl restart ollama"8.
Ab Schritt 6 erreicht jedes Gerät im Netz Ollama auf Port 11434, ohne Passwort. Mach das nur im eigenen Heimnetz und gib den Port im Router nicht nach außen frei. Eine Chatoberfläche im Browser für alle Geräte richtest du mit Open WebUI ein.
Ollama im Docker-Container auf dem NAS
Auf einem NAS läuft Ollama am einfachsten als Container. Synology beschreibt den Container Manager als Werkzeug, mit dem du Container verwaltest und über das Project Dashboard Docker-Projekte mit mehreren Containern aus Compose-Dateien anlegst7.
- Installier im Paket-Zentrum den Container Manager und leg im Ordner "docker" einen Unterordner "ollama" für die Modelle an.
- Leg im Container Manager unter Projekt ein neues Projekt an und gib ihm den Ordner "docker/ollama" als Pfad.
- Trag in der Compose-Datei das Abbild "ollama/ollama" ein, verbinde den Ordner für die Modelle mit "/root/.ollama" im Container und gib den Port 11434 frei. Das entspricht dem Befehl, den Ollama für Docker ohne Grafikkarte nennt, hier mit dem Containernamen "llm": "docker run -d -v ollama:/root/.ollama -p 11434:11434 --name llm ollama/ollama"11.
- Starte das Projekt. Ollama läuft jetzt als Dienst im Container.
- Lade ein Modell über das Terminal des Containers oder per SSH mit "docker exec -it llm ollama run llama3.2"11. Für ein NAS mit wenig Speicher nimmst du besser "llama3.2:1b" mit 1,3 GB6.
Der Container bleibt nach einem Neustart des NAS erhalten, die Modelle liegen dauerhaft im Ordner "docker/ollama". Andere Programme im Heimnetz sprechen Ollama dann über die Adresse des NAS und Port 11434 an.
Wer auf dem NAS zusätzlich eine Chatoberfläche will, nimmt Open WebUI als zweiten Dienst in dieselbe Compose-Datei auf und verweist dort auf den Ollama-Container. So steht im Browser jedes Geräts im Haus ein Chatfenster bereit, ohne dass auf den Rechnern etwas installiert werden muss. Für die Einrichtung von Open WebUI haben wir eine eigene Anleitung.

Eigene KI und KI-Agent auf dem Pi
Ein eigenes Modell im Sinn von "neu trainieren" ist auf dem Pi nicht machbar, dafür reicht die Rechenleistung nicht; wie Feintuning auf einer Grafikkarte geht, beschreibt Eigenes Modell feinjustieren. Was auf dem Pi geht: ein vorhandenes Modell mit eigenen Anweisungen versehen. Ollama nutzt dafür eine Textdatei namens Modelfile mit Zeilen wie "FROM llama3.2", "PARAMETER num_ctx 4096" und einem System-Prompt nach "SYSTEM"12. Mit "ollama create name -f ./Modelfile" entsteht daraus ein eigenes Modell, das du mit "ollama run name" startest12.
Ein Modelfile für einen Küchenhelfer könnte so aussehen: In der ersten Zeile steht das Grundmodell, darunter eine niedrige Temperatur für sachliche Antworten und ein Kontext von 2.048 Token, zuletzt der System-Prompt mit der Rolle und der Bitte, Rezepte in Schritten und auf Deutsch zu erklären12. Das zeigt nur den Aufbau, die Werte wählst du selbst.
So baust du zum Beispiel einen Assistenten, der immer auf Deutsch und in drei Sätzen antwortet, oder einen, der Einkaufslisten sortiert. Das Modell selbst bleibt dasselbe, du legst nur Verhalten und Kontextlänge fest. Ein kürzerer Kontext spart auf dem Pi Speicher und Zeit.
Für einen KI-Agenten ist der Pi als Dauerläufer interessant: Er verbraucht wenig, läuft rund um die Uhr und kann Aufgaben zeitgesteuert anstoßen. Das Sprachmodell muss dabei nicht auf dem Pi selbst liegen. Steht im Haus ein PC mit Grafikkarte und Ollama, schickt der Agent seine Anfragen über das Netz dorthin und bekommt viel schneller Antwort. Auf dem Pi bleibt nur die Steuerung.
Grenzen und Alternativen
Der Pi bleibt ein Rechner für kleine Modelle. Kleine Modelle mit 1 bis 2 Milliarden Parametern4 verwechseln leichter Fakten, verlieren bei langen Texten den Faden und schreiben weniger sauberes Deutsch als größere. Für Recherche oder heikle Inhalte taugen ihre Antworten nur als Entwurf, denn erfundene Angaben (Halluzination) klingen oft überzeugend.
Auch die Hardware setzt Grenzen. Unter Dauerlast wird der Pi heiß und drosselt ohne aktiven Kühler den Takt. Eine microSD-Karte leidet unter vielen Schreibzugriffen, für den Dauerbetrieb ist eine SSD die bessere Wahl. Auf dem NAS konkurriert das Modell mit Backups, Medienserver und Dateifreigaben um Prozessor und Speicher; während das Modell rechnet, werden andere Dienste träge.
Wer mehr Tempo braucht, findet den Schritt nach oben in einem gebrauchten PC mit eigener Grafikkarte. Zu einem solchen Rechner gibt KI-PC kaufen oder bauen Auskunft, und unter Windows läuft die Einrichtung wie in Ollama installieren beschrieben.
Was das für dich heißt
Ein Pi oder NAS reicht für kleine Helfer, für anspruchsvolle Texte brauchst du mehr Rechenleistung.
- Nimm einen Pi 5 mit mindestens 8 GB und einen aktiven Kühler.
- Starte mit Gemma 3 1B oder Qwen3 1.7B und teste sie mit deinen echten Fragen.
- Öffne Ollama nur im Heimnetz und gib Port 11434 im Router nicht frei.
- Leg dir mit einem Modelfile einen festen System-Prompt an, statt ihn jedes Mal einzutippen.
Häufige Fragen
Welches Modell ist für den Raspberry Pi am besten?
Bringt der AI HAT+ 2 mehr Tempo für Sprachmodelle?
Läuft Ollama auf jedem Synology-NAS?
Nur auf Geräten, die den Container Manager unterstützen und genug Arbeitsspeicher haben. Prüfe das im Paket-Zentrum deines NAS. Ein NAS mit 2 bis 4 GB Arbeitsspeicher reicht höchstens für die kleinsten Modelle.
Brauche ich für den Betrieb Internet?
Nur für die Installation und den ersten Download des Modells. Danach rechnet Ollama lokal, und laut Anbieter sieht er deine Prompts dabei nicht8. Mehr zum Betrieb ohne Netz steht in [KI ohne Internet](/lokale-ki/ki-offline).
Quellen
Stand:
- Raspberry Pi: Raspberry Pi 5: Produktseite und technische Daten, abgerufen am 22.11.2026. zurück
- Ollama: Linux: Installation und ARM64, abgerufen am 22.11.2026. zurück
- Raspberry Pi: Raspberry Pi OS und Raspberry Pi Imager, abgerufen am 22.11.2026. zurück
- Ollama: Bibliothek: qwen3 (Größen der Modelle), abgerufen am 22.11.2026. zurück
- Ollama: Bibliothek: gemma3 (Größen der Modelle), abgerufen am 22.11.2026. zurück
- Ollama: Bibliothek: llama3.2 (Größen und Sprachen), abgerufen am 22.11.2026. zurück
- Synology: Container Manager: Funktionen, abgerufen am 22.11.2026. zurück
- Ollama: FAQ: ollama ps, OLLAMA_HOST unter Linux, Datenschutz, abgerufen am 22.11.2026. zurück
- Jeff Geerling: Raspberry Pi's new AI HAT adds 8GB of RAM for local LLMs, Stand 15.01.2026, abgerufen am 22.11.2026. zurück
- Raspberry Pi (Gastbeitrag von Hailo): When and why you might need the Raspberry Pi AI HAT+ 2, Stand 25.02.2026, abgerufen am 22.11.2026. zurück
- Ollama: Docker: Ollama im Container, abgerufen am 22.11.2026. zurück
- Ollama: Modelfile: eigene Modelle anlegen, abgerufen am 22.11.2026. zurück
- Raspberry Pi: AI HAT+ 2: Produktseite, abgerufen am 22.11.2026. zurück




