Lokale KI
KI ohne Internet

Damit eine KI ohne Internet antwortet, muss das Sprachmodell auf dem Gerät selbst gespeichert sein und dort rechnen. Das klappt auf dem PC, auf dem Mac und inzwischen auch auf dem Smartphone. Du lädst das Modell einmal herunter, danach funktioniert es im Flugzeug, im Funkloch oder in einem Netz, das du nicht nutzen willst. Bei Cloud-Diensten wie den bekannten Chat-Apps geht das nicht, weil dort jede Anfrage an ein Rechenzentrum geschickt wird.
Was offline bei KI bedeutet
Ein Sprachmodell ist eine Datei mit Milliarden Zahlen, den Gewichten. Wer sie auf seinem Gerät hat, braucht für eine Antwort nur noch Rechenleistung und Arbeitsspeicher. Fachleute sprechen von Edge AI, wenn KI direkt auf dem Endgerät läuft.
Ganz ohne Netz geht es beim Start trotzdem nicht. Ollama holt Modelle aus dem Internet und verlangt dafür eine HTTPS-Verbindung1. Ist die Datei einmal da, rechnet Ollama lokal; laut Anbieter sieht er Prompts und Daten dabei nicht1. Ollama bietet inzwischen auch Modelle an, die in der Cloud laufen. Wer das sicher ausschließen will, setzt die Einstellung OLLAMA_NO_CLOUD=1 und verzichtet damit auf Cloud-Modelle und Websuche1.
Bei Apps gilt dasselbe Prinzip. Die Google AI Edge Gallery beschreibt sich als vollständig offline, die Berechnung laufe auf dem Gerät und Internet sei nicht nötig2. PocketPal AI braucht weder Konto noch Internet für den Chat; nur wenn du Zusatzfunktionen wie die Websuche einschaltest, verlassen Daten das Gerät3.
Offline am PC und am Mac
Am Rechner sind Ollama und LM Studio die bekanntesten Programme. Beide laden Modelle aus einer Bibliothek und speichern sie auf der Festplatte; danach kannst du das Netzwerkkabel ziehen. Installationsanleitungen gibt es für Ollama und LM Studio; ob dein Rechner dafür reicht, klärt Lokale KI für Einsteiger.
Offline geht am PC mehr als Chat. Sprachaufnahmen lassen sich mit Whisper lokal in Text umwandeln, die Anleitung lokale Transkription zeigt den Weg. Bildmodelle wie Stable Diffusion oder Flux laufen in ComfyUI ebenfalls ohne Netz, sobald die Modelldateien auf der Platte liegen.
Für Rechner ohne starke Hardware gibt es Alternativen. Ein Raspberry Pi oder ein NAS im Heimnetz kann ein kleines Modell bereitstellen, das alle Geräte im Haus ohne Internet nutzen; das beschreibt KI auf NAS und Raspberry Pi.
Lokale KI auf dem Handy
Auf dem Smartphone laufen nur kleine Modelle, sogenannte Small Language Models mit wenigen Milliarden oder sogar nur Hunderten Millionen Parametern. Zwei Apps zeigen gut, was heute geht.
Die Google AI Edge Gallery ist eine kostenlose App von Google für Android ab Version 12 und iOS ab Version 17, der Quelltext steht unter der Apache-Lizenz 2.02. Sie lädt Modelle über eine Anbindung an Hugging Face und bietet neben dem Chat eine Bildbeschreibung über die Kamera und eine Transkription von Sprachaufnahmen direkt auf dem Gerät2. Wer kein Google Play nutzt, kann die APK-Datei aus dem GitHub-Projekt installieren2.
PocketPal AI gibt es für iPhone, iPad und Android, ebenfalls quelloffen unter der MIT-Lizenz3. Die App rechnet mit llama.cpp und nutzt Modelle im Format GGUF, die du in der App aus einer Liste oder direkt über die Suche bei Hugging Face lädst. Dabei wählst du eine Quantisierung, die zu deinem Gerät passt3. Für Sprachsteuerung und einen lokalen Server gibt es eine kostenpflichtige Erweiterung namens PocketPal Plus3.
Apple setzt bei Apple Intelligence selbst auf ein Modell auf dem Gerät. Nach Apples Angaben hat es rund 3 Milliarden Parameter und ist auf 2 Bit je Gewicht verkleinert4. App-Entwickler können es über das Foundation Models Framework in eigene Apps einbauen4. Für dich heißt das: Manche Apps auf dem iPhone nutzen KI, ohne Daten an einen Server zu schicken. Ob eine bestimmte App das tut, steht in ihrer Beschreibung oder den Datenschutzangaben.
Für Android-Nutzer ist die Auswahl größer, weil sich Apps auch außerhalb des Play Store installieren lassen. Achte dabei auf die Quelle der Datei; das GitHub-Projekt des Herstellers ist sicherer als ein beliebiger Downloadspiegel. Die meisten bekannten KI-Apps arbeiten dagegen über die Cloud des Anbieters.
Der Einstieg auf dem Handy dauert wenige Minuten. Du installierst die App, wählst in der Modellliste ein kleines Modell und lädst es über WLAN herunter. Danach schaltest du den Flugmodus ein und stellst eine erste Frage. Antwortet die App, läuft das Modell wirklich auf dem Gerät. Bei PocketPal AI kannst du in der Hugging-Face-Suche auch andere GGUF-Modelle finden; für Modelle mit Zugangsbeschränkung verlangt die App einen Zugangsschlüssel von Hugging Face3.

Typische Einsätze ohne Netz
Auf Reisen ist ein Offline-Modell ein Übersetzer und Formulierungshelfer, der auch im Ausland ohne Datenvertrag funktioniert. Wer viel im Zug sitzt, fasst unterwegs Dokumente zusammen, ohne dass sie das Gerät verlassen. Im Außendienst hilft ein Modell auf dem Notebook beim Schreiben von Berichten an Orten ohne Empfang.
In Betrieben mit abgeschotteten Netzen, etwa in Laboren, Werkhallen oder Praxen, ist lokale KI oft die einzige zulässige Form. Dort steht ein Rechner mit Grafikkarte im internen Netz und beantwortet Anfragen aller Arbeitsplätze, ohne Verbindung nach außen. Für Interviews und Besprechungen lässt sich die Aufnahme direkt auf dem Gerät in Text umwandeln; die Google AI Edge Gallery bringt dafür eine eigene Funktion mit, die auch übersetzt2.
Wie viel Speicher die Modelle brauchen
In der Ollama-Bibliothek ist Gemma 3 mit 270 Millionen Parametern 292 MB groß, mit 1 Milliarde Parametern 806 MB5. Qwen3 mit 0,6 Milliarden Parametern belegt 523 MB, Llama 3.2 mit 1 Milliarde 1,3 GB67. Diese Größen passen auch auf ein Smartphone mit wenig freiem Speicher.
Mit der Größe wächst die Qualität, aber auch der Bedarf an Arbeitsspeicher. Beim Rechnen muss das ganze Modell im Arbeitsspeicher liegen, und daneben brauchen Betriebssystem und andere Apps Platz. Auf einem Handy mit 8 GB Arbeitsspeicher sind nach unserer Einschätzung Modelle um 1 bis 3 Milliarden Parameter der realistische Bereich, auf dem PC mit Grafikkarte deutlich mehr; die Dateigrößen nennt die Ollama-Bibliothek56. Eine Auswahl für den Rechner stellt Welches lokale Modell? gegenüber.
Beim Herunterladen lohnt ein Blick auf die Quantisierung. Eine Fassung mit 4 Bit je Gewicht ist ungefähr ein Viertel so groß wie die mit 16 Bit und auf dem Handy die übliche Wahl. Noch stärker verkleinerte Fassungen sparen Platz, verlieren aber merklich an Qualität.
Der Vorteil beim Datenschutz
Wenn ein Modell auf deinem Gerät rechnet, verlassen deine Eingaben das Gerät nicht. Persönliche Notizen, Gesundheitsfragen, Verträge oder Kundendaten landen so auf keinem fremden Server. Für Firmen kann das der Unterschied zwischen erlaubter und nicht erlaubter Nutzung sein; die Seite KI und Datenschutz im Unternehmen geht auf die Pflichten ein.
Lokal heißt trotzdem nicht automatisch privat. Eine App kann Nutzungsdaten oder Absturzberichte senden, auch wenn das Modell lokal rechnet. Prüfe deshalb die Berechtigungen der App und schalte Online-Funktionen aus, die du nicht brauchst. PocketPal AI nennt ausdrücklich die Websuche und entfernte Server als Funktionen, bei denen Daten das Gerät verlassen3. Wer ganz sicher gehen will, testet die App einmal im Flugmodus.

Was ohne Internet nicht klappt
Ein Offline-Modell kennt nur sein Trainingswissen. Es weiß nichts über aktuelle Nachrichten, Preise oder Öffnungszeiten und kann nicht im Netz nachschlagen. Kleine Modelle neigen außerdem stärker zur Halluzination, sie erfinden also eher Fakten, Namen oder Quellen. Für Fragen, bei denen es auf die Richtigkeit ankommt, prüfst du die Antwort nach.
Dazu kommen Akku und Wärme. Ein Sprachmodell lastet den Chip eines Smartphones voll aus; längere Sitzungen leeren den Akku schnell, und das Gerät wird warm. Am PC fällt das weniger ins Gewicht, dort kosten lange Sitzungen Strom über die Grafikkarte. Für kurze Aufgaben wie einen Text umformulieren, eine Nachricht übersetzen oder eine Notiz zusammenfassen reicht ein kleines Modell auf dem Handy aus.
Was das für dich heißt
Für Notizen, Übersetzungen und vertrauliche Texte reicht oft ein kleines Modell auf dem eigenen Gerät.
- Lade vor einer Reise ein kleines Modell wie Gemma 3 1B auf dein Handy und teste es im Flugmodus.
- Schalte in der App Websuche und entfernte Server aus, wenn du ganz offline bleiben willst.
- Prüf wichtige Fakten aus einer Offline-Antwort nach, sobald du wieder Netz hast.
- Nutz am PC Ollama oder LM Studio für längere Texte und größere Modelle.
Häufige Fragen
Gibt es ChatGPT offline?
Nein, ChatGPT läuft auf den Servern von OpenAI und braucht immer eine Internetverbindung. Offline nutzbar sind Modelle, die du auf dein Gerät lädst, etwa mit Ollama am PC oder mit PocketPal AI auf dem Handy3. Sie sind kleiner und meist weniger stark als die großen Cloud-Modelle.
Welche App eignet sich für lokale KI auf Android?
Wie viel Speicherplatz brauche ich auf dem Handy?
Für ein kleines Modell reichen 300 MB bis 1,5 GB, etwa Gemma 3 1B mit 806 MB5. Plane für zwei oder drei Modelle zum Ausprobieren einige Gigabyte freien Speicher ein. Der Arbeitsspeicher des Telefons begrenzt, wie groß ein Modell sein darf.
Quellen
Stand:
- Ollama: FAQ: Datenschutz, Proxy, Cloud-Funktionen abschalten, abgerufen am 22.11.2026. zurück
- Google AI Edge: Google AI Edge Gallery auf GitHub, abgerufen am 22.11.2026. zurück
- PocketPal AI: PocketPal AI auf GitHub, abgerufen am 22.11.2026. zurück
- Apple Machine Learning Research: Updates to Apple's On-Device and Server Foundation Language Models, Stand 17.07.2025, abgerufen am 22.11.2026. zurück
- Ollama: Bibliothek: gemma3 (Größen der Modelle), abgerufen am 22.11.2026. zurück
- Ollama: Bibliothek: qwen3 (Größen der Modelle), abgerufen am 22.11.2026. zurück
- Ollama: Bibliothek: llama3.2 (Größen), abgerufen am 22.11.2026. zurück




