Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lokale KI

KI ohne Internet

Kurzantwort

KI funktioniert ohne Internet, wenn das Modell auf deinem Gerät liegt. Am PC übernehmen das Programme wie Ollama oder LM Studio, auf dem Smartphone Apps wie Google AI Edge Gallery oder PocketPal AI⁠23. Internet brauchst du nur für den ersten Download des Modells.

Autor
Veröffentlicht
Geprüft
Lesezeit
7 Minuten
Smartphone von der Seite auf einem Wanderrucksack auf einer Holzbank, im Hintergrund unscharf eine steinerne Berghütte und Kiefern
Im Funkloch hilft nur ein Modell, das auf dem Gerät selbst liegt. Bild: KI-generiert

Damit eine KI ohne Internet antwortet, muss das Sprachmodell auf dem Gerät selbst gespeichert sein und dort rechnen. Das klappt auf dem PC, auf dem Mac und inzwischen auch auf dem Smartphone. Du lädst das Modell einmal herunter, danach funktioniert es im Flugzeug, im Funkloch oder in einem Netz, das du nicht nutzen willst. Bei Cloud-Diensten wie den bekannten Chat-Apps geht das nicht, weil dort jede Anfrage an ein Rechenzentrum geschickt wird.

Was offline bei KI bedeutet

Ein Sprachmodell ist eine Datei mit Milliarden Zahlen, den Gewichten. Wer sie auf seinem Gerät hat, braucht für eine Antwort nur noch Rechenleistung und Arbeitsspeicher. Fachleute sprechen von Edge AI, wenn KI direkt auf dem Endgerät läuft.

Ganz ohne Netz geht es beim Start trotzdem nicht. Ollama holt Modelle aus dem Internet und verlangt dafür eine HTTPS-Verbindung⁠1. Ist die Datei einmal da, rechnet Ollama lokal; laut Anbieter sieht er Prompts und Daten dabei nicht⁠1. Ollama bietet inzwischen auch Modelle an, die in der Cloud laufen. Wer das sicher ausschließen will, setzt die Einstellung OLLAMA_NO_CLOUD=1 und verzichtet damit auf Cloud-Modelle und Websuche⁠1.

Bei Apps gilt dasselbe Prinzip. Die Google AI Edge Gallery beschreibt sich als vollständig offline, die Berechnung laufe auf dem Gerät und Internet sei nicht nötig⁠2. PocketPal AI braucht weder Konto noch Internet für den Chat; nur wenn du Zusatzfunktionen wie die Websuche einschaltest, verlassen Daten das Gerät⁠3.

Offline am PC und am Mac

Am Rechner sind Ollama und LM Studio die bekanntesten Programme. Beide laden Modelle aus einer Bibliothek und speichern sie auf der Festplatte; danach kannst du das Netzwerkkabel ziehen. Installationsanleitungen gibt es für Ollama und LM Studio; ob dein Rechner dafür reicht, klärt Lokale KI für Einsteiger.

Offline geht am PC mehr als Chat. Sprachaufnahmen lassen sich mit Whisper lokal in Text umwandeln, die Anleitung lokale Transkription zeigt den Weg. Bildmodelle wie Stable Diffusion oder Flux laufen in ComfyUI ebenfalls ohne Netz, sobald die Modelldateien auf der Platte liegen.

Für Rechner ohne starke Hardware gibt es Alternativen. Ein Raspberry Pi oder ein NAS im Heimnetz kann ein kleines Modell bereitstellen, das alle Geräte im Haus ohne Internet nutzen; das beschreibt KI auf NAS und Raspberry Pi.

Lokale KI auf dem Handy

Auf dem Smartphone laufen nur kleine Modelle, sogenannte Small Language Models mit wenigen Milliarden oder sogar nur Hunderten Millionen Parametern. Zwei Apps zeigen gut, was heute geht.

Die Google AI Edge Gallery ist eine kostenlose App von Google für Android ab Version 12 und iOS ab Version 17, der Quelltext steht unter der Apache-Lizenz 2.0⁠2. Sie lädt Modelle über eine Anbindung an Hugging Face und bietet neben dem Chat eine Bildbeschreibung über die Kamera und eine Transkription von Sprachaufnahmen direkt auf dem Gerät⁠2. Wer kein Google Play nutzt, kann die APK-Datei aus dem GitHub-Projekt installieren⁠2.

PocketPal AI gibt es für iPhone, iPad und Android, ebenfalls quelloffen unter der MIT-Lizenz⁠3. Die App rechnet mit llama.cpp und nutzt Modelle im Format GGUF, die du in der App aus einer Liste oder direkt über die Suche bei Hugging Face lädst. Dabei wählst du eine Quantisierung, die zu deinem Gerät passt⁠3. Für Sprachsteuerung und einen lokalen Server gibt es eine kostenpflichtige Erweiterung namens PocketPal Plus⁠3.

Apple setzt bei Apple Intelligence selbst auf ein Modell auf dem Gerät. Nach Apples Angaben hat es rund 3 Milliarden Parameter und ist auf 2 Bit je Gewicht verkleinert⁠4. App-Entwickler können es über das Foundation Models Framework in eigene Apps einbauen⁠4. Für dich heißt das: Manche Apps auf dem iPhone nutzen KI, ohne Daten an einen Server zu schicken. Ob eine bestimmte App das tut, steht in ihrer Beschreibung oder den Datenschutzangaben.

Für Android-Nutzer ist die Auswahl größer, weil sich Apps auch außerhalb des Play Store installieren lassen. Achte dabei auf die Quelle der Datei; das GitHub-Projekt des Herstellers ist sicherer als ein beliebiger Downloadspiegel. Die meisten bekannten KI-Apps arbeiten dagegen über die Cloud des Anbieters.

Der Einstieg auf dem Handy dauert wenige Minuten. Du installierst die App, wählst in der Modellliste ein kleines Modell und lädst es über WLAN herunter. Danach schaltest du den Flugmodus ein und stellst eine erste Frage. Antwortet die App, läuft das Modell wirklich auf dem Gerät. Bei PocketPal AI kannst du in der Hugging-Face-Suche auch andere GGUF-Modelle finden; für Modelle mit Zugangsbeschränkung verlangt die App einen Zugangsschlüssel von Hugging Face⁠3.

Junge Frau am Zugfenster hält ein Smartphone, das von der Kamera abgewandt ist, draußen ziehen grüne Hügel vorbei
Kleine Modelle laufen direkt auf dem Smartphone, auch ohne Empfang. Bild: KI-generiert

Typische Einsätze ohne Netz

Auf Reisen ist ein Offline-Modell ein Übersetzer und Formulierungshelfer, der auch im Ausland ohne Datenvertrag funktioniert. Wer viel im Zug sitzt, fasst unterwegs Dokumente zusammen, ohne dass sie das Gerät verlassen. Im Außendienst hilft ein Modell auf dem Notebook beim Schreiben von Berichten an Orten ohne Empfang.

In Betrieben mit abgeschotteten Netzen, etwa in Laboren, Werkhallen oder Praxen, ist lokale KI oft die einzige zulässige Form. Dort steht ein Rechner mit Grafikkarte im internen Netz und beantwortet Anfragen aller Arbeitsplätze, ohne Verbindung nach außen. Für Interviews und Besprechungen lässt sich die Aufnahme direkt auf dem Gerät in Text umwandeln; die Google AI Edge Gallery bringt dafür eine eigene Funktion mit, die auch übersetzt⁠2.

Wie viel Speicher die Modelle brauchen

In der Ollama-Bibliothek ist Gemma 3 mit 270 Millionen Parametern 292 MB groß, mit 1 Milliarde Parametern 806 MB⁠5. Qwen3 mit 0,6 Milliarden Parametern belegt 523 MB, Llama 3.2 mit 1 Milliarde 1,3 GB⁠67. Diese Größen passen auch auf ein Smartphone mit wenig freiem Speicher.

Mit der Größe wächst die Qualität, aber auch der Bedarf an Arbeitsspeicher. Beim Rechnen muss das ganze Modell im Arbeitsspeicher liegen, und daneben brauchen Betriebssystem und andere Apps Platz. Auf einem Handy mit 8 GB Arbeitsspeicher sind nach unserer Einschätzung Modelle um 1 bis 3 Milliarden Parameter der realistische Bereich, auf dem PC mit Grafikkarte deutlich mehr; die Dateigrößen nennt die Ollama-Bibliothek⁠56. Eine Auswahl für den Rechner stellt Welches lokale Modell? gegenüber.

Beim Herunterladen lohnt ein Blick auf die Quantisierung. Eine Fassung mit 4 Bit je Gewicht ist ungefähr ein Viertel so groß wie die mit 16 Bit und auf dem Handy die übliche Wahl. Noch stärker verkleinerte Fassungen sparen Platz, verlieren aber merklich an Qualität.

Der Vorteil beim Datenschutz

Wenn ein Modell auf deinem Gerät rechnet, verlassen deine Eingaben das Gerät nicht. Persönliche Notizen, Gesundheitsfragen, Verträge oder Kundendaten landen so auf keinem fremden Server. Für Firmen kann das der Unterschied zwischen erlaubter und nicht erlaubter Nutzung sein; die Seite KI und Datenschutz im Unternehmen geht auf die Pflichten ein.

Lokal heißt trotzdem nicht automatisch privat. Eine App kann Nutzungsdaten oder Absturzberichte senden, auch wenn das Modell lokal rechnet. Prüfe deshalb die Berechtigungen der App und schalte Online-Funktionen aus, die du nicht brauchst. PocketPal AI nennt ausdrücklich die Websuche und entfernte Server als Funktionen, bei denen Daten das Gerät verlassen⁠3. Wer ganz sicher gehen will, testet die App einmal im Flugmodus.

Holzschreibtisch in einer Hütte am Fenster mit zugeklapptem Notebook, Smartphone von der Seite und schlichter Tasse, draußen Wald
Was auf dem Gerät gerechnet wird, bleibt auf dem Gerät. Bild: KI-generiert

Was ohne Internet nicht klappt

Ein Offline-Modell kennt nur sein Trainingswissen. Es weiß nichts über aktuelle Nachrichten, Preise oder Öffnungszeiten und kann nicht im Netz nachschlagen. Kleine Modelle neigen außerdem stärker zur Halluzination, sie erfinden also eher Fakten, Namen oder Quellen. Für Fragen, bei denen es auf die Richtigkeit ankommt, prüfst du die Antwort nach.

Dazu kommen Akku und Wärme. Ein Sprachmodell lastet den Chip eines Smartphones voll aus; längere Sitzungen leeren den Akku schnell, und das Gerät wird warm. Am PC fällt das weniger ins Gewicht, dort kosten lange Sitzungen Strom über die Grafikkarte. Für kurze Aufgaben wie einen Text umformulieren, eine Nachricht übersetzen oder eine Notiz zusammenfassen reicht ein kleines Modell auf dem Handy aus.

Was das für dich heißt

Für Notizen, Übersetzungen und vertrauliche Texte reicht oft ein kleines Modell auf dem eigenen Gerät.

  1. Lade vor einer Reise ein kleines Modell wie Gemma 3 1B auf dein Handy und teste es im Flugmodus.
  2. Schalte in der App Websuche und entfernte Server aus, wenn du ganz offline bleiben willst.
  3. Prüf wichtige Fakten aus einer Offline-Antwort nach, sobald du wieder Netz hast.
  4. Nutz am PC Ollama oder LM Studio für längere Texte und größere Modelle.

Häufige Fragen

Gibt es ChatGPT offline?

Nein, ChatGPT läuft auf den Servern von OpenAI und braucht immer eine Internetverbindung. Offline nutzbar sind Modelle, die du auf dein Gerät lädst, etwa mit Ollama am PC oder mit PocketPal AI auf dem Handy⁠3. Sie sind kleiner und meist weniger stark als die großen Cloud-Modelle.

Welche App eignet sich für lokale KI auf Android?

Die Google AI Edge Gallery läuft ab Android 12 und lädt Modelle über Hugging Face⁠2. PocketPal AI nutzt GGUF-Modelle mit llama.cpp und ist quelloffen⁠3. Beide funktionieren nach dem ersten Download ohne Internet.

Wie viel Speicherplatz brauche ich auf dem Handy?

Für ein kleines Modell reichen 300 MB bis 1,5 GB, etwa Gemma 3 1B mit 806 MB⁠5. Plane für zwei oder drei Modelle zum Ausprobieren einige Gigabyte freien Speicher ein. Der Arbeitsspeicher des Telefons begrenzt, wie groß ein Modell sein darf.

Ist KI offline wirklich sicherer?

Für deine Eingaben ja, solange das Modell auf dem Gerät rechnet und die App keine Online-Funktionen nutzt⁠13. Die App selbst kann trotzdem Nutzungsdaten senden. Ein Test im Flugmodus zeigt, ob sie ohne Netz funktioniert.

Quellen

Stand:

  1. Ollama: FAQ: Datenschutz, Proxy, Cloud-Funktionen abschalten, abgerufen am 22.11.2026. zurück
  2. Google AI Edge: Google AI Edge Gallery auf GitHub, abgerufen am 22.11.2026. zurück
  3. PocketPal AI: PocketPal AI auf GitHub, abgerufen am 22.11.2026. zurück
  4. Apple Machine Learning Research: Updates to Apple's On-Device and Server Foundation Language Models, Stand 17.07.2025, abgerufen am 22.11.2026. zurück
  5. Ollama: Bibliothek: gemma3 (Größen der Modelle), abgerufen am 22.11.2026. zurück
  6. Ollama: Bibliothek: qwen3 (Größen der Modelle), abgerufen am 22.11.2026. zurück
  7. Ollama: Bibliothek: llama3.2 (Größen), abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert