Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lokale KI · Praxistest

Lokale Sprachmodelle auf 16 GB

Kurzantwort

Auf der RTX 5060 Ti mit 16 GB liefen Qwen3 8B und Qwen3 14B in Q4_K_M komplett im Grafikspeicher, mit 75,1 und 43,3 Token je Sekunde im Median⁠1. Das reicht für flüssige Chats und das Zusammenfassen von Dokumenten. Qwen3 32B ist als Download 20 GB groß, knapp ein Drittel lag im Arbeitsspeicher, und das Tempo fiel auf 5,1 Token je Sekunde⁠16.

Autor
Veröffentlicht
Geprüft
Lesezeit
9 Minuten
Dünne, rechtwinklig abknickende Linien in Lachsrosa laufen auf dunkelblauem Grund in einem rechteckigen Block zusammen
Bild: KI-generiert

Für lokale Sprachmodelle bis 14 Milliarden Parameter ist die RTX 5060 Ti mit 16 GB eine brauchbare Karte. In unserer Messreihe mit Ollama 0.40.0 erzeugte Qwen3 14B im Median 43,3 Token je Sekunde und blieb mit 9,3 GiB zusätzlichem Grafikspeicher deutlich unter der Grenze⁠1. Qwen3 8B kam auf 75,1 Token je Sekunde⁠1. Beim 32B-Modell beginnt die Auslagerung in den Arbeitsspeicher, und das Tempo fiel auf 5,1 Token je Sekunde⁠1.

Sprachmodelle in Ollama auf der RTX 5060 Ti

Hardware
RTX 5060 Ti (16 GB), Treiber 621.35; AMD Ryzen 9 7950X3D, 128 GB
Modell
Qwen3 8B, 14B und 32B, jeweils Q4_K_M
Werkzeug
Ollama 0.40.0
Messgröße
Ausgabe-Token je Sekunde, Zeit bis zum ersten Token, zusätzlich belegter Grafikspeicher, Anteil auf dem Prozessor; Median aus drei Läufen
Gemessen am
Qwen3 8B: Token je Sekunde75,1
Qwen3 14B: Token je Sekunde43,3
Qwen3 32B: Token je Sekunde5,1
Qwen3 8B: erstes Token0,07 s
Qwen3 14B: erstes Token0,09 s
Qwen3 32B: erstes Token1,13 s
Qwen3 8B: Grafikspeicher zusätzlich5,6 GiB
Qwen3 14B: Grafikspeicher zusätzlich9,3 GiB
Qwen3 32B: Grafikspeicher zusätzlich13,9 GiB
Qwen3 32B: Anteil auf dem Prozessor31,8 Prozent

Kontext 8.192 Token, Temperatur 0, 256 Token Ausgabe, Denkmodus aus

Was in 16 GB hineinpasst

Die Download-Größen in der Ollama-Bibliothek geben eine erste Orientierung: Qwen3 8B in Q4_K_M ist 5,2 GB groß, Qwen3 14B 9,3 GB und Qwen3 32B 20 GB⁠6. Dazu kommt im Betrieb der Speicher für den Kontext. In unserer Messung mit 8.192 Token Kontext belegte das 8B-Modell 5,6 GiB zusätzlich, das 14B-Modell 9,3 GiB⁠1. Beide meldete Ollama mit 0 Prozent Anteil auf dem Prozessor, sie lagen also vollständig im Grafikspeicher⁠1.

Mit dem 14B-Modell bleiben auf der Karte rund 6 GB frei⁠1. Das ist Reserve für einen längeren Kontext, etwa für ein ganzes Kapitel eines Dokuments, oder für ein kleines zweites Programm. Wie schnell der Bedarf mit der Kontextlänge wächst, misst der Praxistest zu langen Kontexten auf der großen Karte; die Werte für den Speicher lassen sich auf die RTX 5060 Ti übertragen, denn der Bedarf folgt aus Modell und Kontextlänge.

Ein Detail aus unserem Aufbau solltest du kennen: Im Testrechner hängt der Bildschirm an der anderen Grafikkarte. Auf der RTX 5060 Ti waren vor dem Start deshalb nur 0,4 bis 0,5 GiB belegt⁠1. Ist sie die einzige Karte im Rechner, zweigen Windows, Browser und andere Programme einen Teil der 16 GB ab, und für das Modell bleibt weniger übrig.

Das Speicherformat spielt auch eine Rolle. Alle drei Modelle liefen in der Quantisierung Q4_K_M, dem Standard der Ollama-Bibliothek für diese Modelle⁠6. In acht Bit wäre schon das 14B-Modell 16 GB groß und würde die Karte allein füllen⁠6.

Tempo der Modelle, die ganz passen

75,1 Token je Sekunde beim 8B-Modell und 43,3 beim 14B-Modell sind Werte, bei denen eine Antwort schneller entsteht, als du sie liest⁠1. Für einen Chat, das Umformulieren von Mails oder das Zusammenfassen eines Berichts ist das flüssig. Die drei gezählten Läufe lagen eng beieinander, beim 14B-Modell zwischen 43,2 und 43,4 Token je Sekunde⁠1.

Auch das erste Token kam schnell: nach 0,07 Sekunden beim 8B-Modell und nach 0,09 Sekunden beim 14B-Modell, bei einem Prompt mit knapp 90 Token⁠1. Den Prompt las die Karte mit rund 2.356 Token je Sekunde beim 8B-Modell und 1.483 beim 14B-Modell⁠1. Bei langen Dokumenten macht sich das bemerkbar: 10.000 Token Eingabe brauchen beim 14B-Modell nach dieser Rate knapp sieben Sekunden, bevor die Antwort beginnt (Rechenbeispiel)⁠1.

Gruppierte Balken mit den Token je Sekunde von drei Qwen3-Modellen auf der RTX 5060 Ti und der RTX 4090
  1. Hell RTX 5060 Ti mit 16 GB
  2. Dunkel RTX 4090 mit 24 GB
Die RTX 5060 Ti erreicht etwa die Hälfte des Tempos der RTX 4090. Grafik: KI-Blog

Wo die Auslagerung bremst

Qwen3 32B ist mit 20 GB größer als der gesamte Speicher der Karte⁠6. Ollama verteilt ein solches Modell auf Grafikkarte und Prozessor; mit dem Befehl ollama ps siehst du die Aufteilung als Prozentangabe für CPU und GPU⁠7. Der Teil im Arbeitsspeicher wird vom Prozessor gerechnet, und der ist bei dieser Aufgabe viel langsamer als die Grafikkarte. In unserer Messung legte Ollama 13,7 GiB des Modells auf die Karte und meldete 31,8 Prozent Anteil auf dem Prozessor⁠1. Das Ergebnis: 5,1 Token je Sekunde im Median, die drei Läufe lagen zwischen 5,06 und 5,15⁠1. Eine Antwort mit 256 Token dauerte damit rund 51 Sekunden, das erste Token kam nach 1,13 Sekunden⁠1. Gegenüber dem 14B-Modell, das ganz auf der Karte lag, ist das mehr als achtmal langsamer, obwohl das Modell nur gut doppelt so groß ist⁠1.

Während dieser Läufe hatte die Grafikkarte im Mittel wenig zu tun: 17 bis 28 Prozent Last, 45 Watt im Median⁠1. Sie wartete die meiste Zeit auf den Prozessor, der das knappe Drittel im Arbeitsspeicher rechnet.

Wie stark, hängt vor allem an diesem Anteil. Auf der RTX 4090 haben wir Llama 3.3 70B gemessen, bei dem fast die Hälfte im Arbeitsspeicher lag; dort kamen nur noch 1,8 Token je Sekunde heraus⁠1. Je größer der Teil, den der Prozessor übernimmt, desto näher rückt das Tempo an das eines reinen Prozessorbetriebs. Wer ein Modell knapp über der Grenze nutzen will, sollte deshalb zuerst versuchen, es mit kleinerem Kontext oder in einer kleineren Stufe ganz auf die Karte zu bringen.

Für die Praxis heißt das: Mit 16 GB sind Modelle bis etwa 14 Milliarden Parameter in vier Bit die sinnvolle Obergrenze⁠36. Ein größeres Modell lässt sich laden, wenn genug Arbeitsspeicher vorhanden ist, aber das Tempo fällt deutlich. Wer regelmäßig mit 30B-Modellen arbeiten will, braucht mehr Grafikspeicher.

Etwas Luft verschaffen zwei Einstellungen von Ollama. Flash Attention senkt den Speicherbedarf, vor allem bei wachsendem Kontext, und ist eingeschaltet, sofern Karte und Programm sie unterstützen⁠7. Zusätzlich lässt sich der Zwischenspeicher für den Kontext mit der Variable OLLAMA_KV_CACHE_TYPE verkleinern: Die Stufe q8_0 braucht laut Dokumentation etwa halb so viel Speicher wie der Standard f16, bei sehr geringem Qualitätsverlust⁠7. Ein 20-GB-Modell bekommst du damit trotzdem nicht in 16 GB, aber ein 14B-Modell mit langem Kontext bleibt länger vollständig auf der Karte.

Warum die Karte etwa halb so schnell ist

Beim Erzeugen jedes Tokens liest die Grafikkarte im Kern alle Gewichte des Modells einmal aus ihrem Speicher. Wie schnell der Speicher angebunden ist, bestimmt deshalb das Tempo. Die RTX 5060 Ti hat GDDR7 an einer Schnittstelle mit 128 Bit⁠4. Multipliziert man die Modellgröße, die Ollama meldet, mit den gemessenen Token je Sekunde, liest die Karte bei beiden Modellen rund 400 GiB je Sekunde (unsere Rechnung)⁠1. Auf der RTX 4090 mit ihrer 384-Bit-Schnittstelle kommt dieselbe Rechnung auf rund 780 GiB je Sekunde, entsprechend schneller ist sie dort⁠15. Die vollständige Messreihe der großen Karte steht im Praxistest zur RTX 4090.

Die Rechenleistung der Karte spielt beim Antworten eine kleinere Rolle. Sie zeigt sich beim Einlesen des Prompts, bei dem viele Token auf einmal verarbeitet werden. NVIDIA gibt für die RTX 5060 Ti 4.608 CUDA-Recheneinheiten an⁠4.

Strom: wenig Watt, gleiche Energie je Token

Die Karte zog während der Läufe laut nvidia-smi im Median 157 Watt beim 8B-Modell und 165 Watt beim 14B-Modell⁠1. NVIDIA nennt eine Leistungsaufnahme der Karte von 180 Watt und empfiehlt ein Netzteil mit 600 Watt⁠4. Im Leerlauf vor den Läufen lag die Karte bei 4 bis 8 Watt⁠1.

Teilt man die Token je Sekunde durch die Watt, kommt die RTX 5060 Ti auf fast genau dieselbe Zahl von Token je Wattsekunde wie die RTX 4090 mit demselben Modell (ebenfalls aus den Messwerten errechnet)⁠1. Die kleine Karte braucht für eine Antwort also etwa doppelt so lange, zieht dabei aber nur rund halb so viel Leistung. Die Kosten je Antwort in Cent stehen im Praxistest zum Stromverbrauch.

Preis je Leistung

Zur Markteinführung im April 2025 nannte NVIDIA für die RTX 5060 Ti mit 16 GB einen Preis ab 429 US-Dollar⁠2. Die RTX 4090 kam im Oktober 2022 für 1.599 US-Dollar auf den Markt⁠8. Beide Angaben sind Einführungspreise in den USA; was die Karten heute im Handel kosten, schwankt und steht hier nicht.

Setzt man die Einführungspreise ins Verhältnis zum gemessenen Tempo mit Qwen3 14B, liefert die RTX 5060 Ti rund 10 Token je Sekunde je 100 US-Dollar, die RTX 4090 rund 5 (Rechnung der Redaktion aus Messwerten und Einführungspreisen)⁠128. Für Modelle, die in 16 GB passen, bekommst du mit der kleinen Karte also mehr Tempo fürs Geld. Der Vorteil endet dort, wo das Modell nicht mehr in den Speicher passt: Für 30B-Modelle und lange Kontexte zahlst du bei der großen Karte vor allem für die zusätzlichen 8 GB⁠45. Eine Übersicht, welche Karte zu welchem Zweck passt, gibt der Ratgeber zur Grafikkarte für KI.

Vorsicht beim Kauf: Die RTX 5060 Ti gibt es auch mit 8 GB, zur Einführung für 379 US-Dollar⁠2. Für Sprachmodelle ist der Aufpreis zur 16-GB-Fassung gut angelegt. Unser 14B-Modell belegte allein 9,3 GiB und hätte auf der kleinen Fassung nicht mehr vollständig Platz gehabt, nur das 8B-Modell mit 5,6 GiB wäre noch ganz auf die Karte gegangen⁠1.

Protokoll der Messung

Gemessen haben wir auf einem PC mit Ryzen 9 7950X3D von AMD und 128 GB RAM, in dem die RTX 5060 Ti neben einer RTX 4090 steckt⁠1. Grafiktreiber 621.35, CUDA 13.5 laut Treiber, Ollama 0.40.0⁠1. Für die RTX 5060 Ti lief ein eigener Ollama-Server, der über CUDA_VISIBLE_DEVICES nur diese Karte sah⁠1. So konnte kein Modell heimlich auf die große Karte ausweichen.

Zu Beginn jeder Messung stellte das Skript fünf Sekunden lang sicher, dass die Karte frei war, also unter zehn Prozent Last blieb⁠1. Danach kamen ein Aufwärmlauf, der das Modell lädt und nicht zählt, und drei gezählte Läufe. Jeder Lauf dauerte mindestens acht Sekunden, weil nvidia-smi Leistung und Speicher nur einmal je Sekunde meldet; beim teilweise ausgelagerten 32B-Modell galt diese Mindestdauer nicht⁠1. In den Messwertkasten kommt der Median der drei Läufe.

Alle Modelle bekamen denselben deutschen Prompt und liefen mit Temperatur 0, festem Startwert, 256 Token Ausgabe und einem Kontext von 8.192 Token⁠1. Den Kontext haben wir festgelegt, weil Ollama ihn sonst nach dem Grafikspeicher wählt; unter 24 GiB sind das 4k Token⁠9. Der Denkmodus von Qwen3 war abgeschaltet, damit nur der Antworttext zählt⁠13.

Für wen 16 GB reichen

Wer lokal chatten, Texte umformulieren, Dokumente zusammenfassen oder einen Kontext von einigen Zehntausend Token nutzen will, kommt mit der RTX 5060 Ti und einem 8B- oder 14B-Modell gut zurecht. Die Karte braucht wenig Strom, NVIDIA empfiehlt für einen Rechner mit ihr ein Netzteil mit 600 Watt⁠4.

Knapp wird es, wenn du die größten offenen Modelle ausprobieren oder ein Sprachmodell und ein Bildmodell gleichzeitig auf derselben Karte halten willst. Dann wird der Speicher knapp, während das Tempo für einzelne Modelle weiter reicht. Modelle der einzelnen Größenklassen stellt der Vergleich lokaler Sprachmodelle vor.

Die Messung deckt ein Werkzeug, eine Modellfamilie und eine Quantisierungsstufe ab. Andere Modelle gleicher Größe und Stufe dürften im Tempo ähnlich liegen, weil die Speicheranbindung den Ausschlag gibt; gemessen haben wir sie nicht, und ihr Speicherbedarf für den Kontext kann sich unterscheiden.

Was das für dich heißt

Mit 16 GB fährst du am besten mit Modellen bis 14 Milliarden Parametern in vier Bit.

  1. Wähle ein 14B-Modell in Q4_K_M als Standard für Chat und Zusammenfassungen.
  2. Prüfe mit ollama ps, ob dort 100% GPU steht, bevor du dich über langsame Antworten wunderst.
  3. Rechne beim Kauf mit dem Speicher, den Windows und Browser auf derselben Karte belegen.
  4. Greife zu einer Karte mit mehr Speicher, wenn du regelmäßig 30B-Modelle nutzen willst.

Häufige Fragen

Ist die RTX 5060 Ti mit 16 GB gut für lokale KI?

Für Sprachmodelle bis 14 Milliarden Parameter in vier Bit ja. In unserer Messung schaffte Qwen3 14B 43,3 Token je Sekunde komplett im Grafikspeicher.

Welche Modelle passen in 16 GB VRAM?

In Q4_K_M passten Qwen3 8B und 14B mit Kontext 8.192 vollständig auf die Karte. Qwen3 32B ist mit 20 GB zu groß; knapp ein Drittel landete im Arbeitsspeicher, und es kamen nur noch 5,1 Token je Sekunde heraus.

Wie viel langsamer ist die RTX 5060 Ti als die RTX 4090?

Mit demselben Modell erreichte sie in unserer Messung etwa die Hälfte der Token je Sekunde. Der Hauptgrund ist die schmalere Speicheranbindung.

Wie viel Strom braucht die Karte beim Antworten?

Rund 157 bis 165 Watt laut nvidia-smi, je nach Modell. Je erzeugtem Token war das fast genauso viel Energie wie bei der RTX 4090.

Quellen

Stand:

  1. Eigene Messung: Messreihe Ollama 0.40.0 auf RTX 5060 Ti (16 GB) und RTX 4090 (Treiber 621.35, CUDA 13.5), Testrechner Ryzen 9 7950X3D, 128 GB; qwen3:8b, qwen3:14b, qwen3:32b in Q4_K_M, Kontext 8192, Temperatur 0, 256 Ausgabe-Token, Aufwärmlauf und drei Läufe, Median, Stand 22.11.2026, abgerufen am 22.11.2026. zurück
  2. NVIDIA: Pressemitteilung: GeForce RTX 5060 Familie ab 299 US-Dollar, Stand 15.04.2025, abgerufen am 22.11.2026. zurück
  3. Qwen (Alibaba): Modellkarte Qwen3-14B, abgerufen am 22.11.2026. zurück
  4. NVIDIA: GeForce RTX 5060 Familie: technische Daten, abgerufen am 22.11.2026. zurück
  5. NVIDIA: GeForce RTX 4090: technische Daten, abgerufen am 22.11.2026. zurück
  6. Ollama: Bibliothek: qwen3, Tags und Größen, abgerufen am 22.11.2026. zurück
  7. Ollama: Häufige Fragen (FAQ), abgerufen am 22.11.2026. zurück
  8. NVIDIA: Pressemitteilung: GeForce RTX 40 Serie, Stand 20.09.2022, abgerufen am 22.11.2026. zurück
  9. Ollama: Kontextlänge (Dokumentation), abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert. Grafiken: KI-Blog