Rechnertyp
Laptop mit 8 GB RAM, kein extra Grafikchip
Passendes Modell
Llama 3.2 3B oder Qwen2.5 7B
Empfohlene Kontextlänge
2.000 bis 4.000 Tokens
Hinweis
Guter fester Startwert für diese Hardware.
Lokale KI · Praxiswissen
Wie groß muss dein Kontextfenster entsprechend deiner Hardware sein?
Beim Kontextfenster gilt nicht automatisch: je größer, desto besser. Ist es zu klein, verliert dein Modell wichtige Informationen. Ist es unnötig groß, verbraucht es mehr Arbeitsspeicher und kann deutlich langsamer werden. Der Sweet Spot liegt dort, wo dein Modell genug Zusammenhang behält und auf deiner Hardware trotzdem flüssig läuft.
Nutze die Werte als praxistauglichen Startpunkt. Je nach Modell, Quantisierung und freiem Speicher kannst du dich anschließend vorsichtig nach oben tasten.
Rechnertyp
Passendes Modell
Empfohlene Kontextlänge
Hinweis
Rechnertyp
Mac mit Apple Chip und 16 GB Arbeitsspeicher
Passendes Modell
Qwen2.5 7B oder Mistral 7B
Empfohlene Kontextlänge
4.000 bis 8.000 Tokens
Hinweis
Guter fester Startwert für diese Hardware.
Rechnertyp
Mac mit Apple Chip und 32 GB oder mehr
Passendes Modell
Qwen3 Coder 30B, dank Mixture-of-Experts-Technik auch auf einem MacBook Pro M3 Max gut nutzbar
Empfohlene Kontextlänge
8.000 bis 16.000 Tokens
Hinweis
Schwankt je nach freiem Speicher und Quantisierung. Starte lieber klein und taste dich hoch, solange dein Rechner flüssig mitkommt.
Rechnertyp
Windows- oder Linux-Rechner mit Grafikkarte und 8 GB VRAM
Passendes Modell
Modelle im 7B- bis 8B-Bereich, etwa Qwen2.5 7B
Empfohlene Kontextlänge
4.000 bis 8.000 Tokens
Hinweis
Guter fester Startwert für diese Hardware.
Rechnertyp
Windows- oder Linux-Rechner mit Grafikkarte und 16 GB VRAM oder mehr
Passendes Modell
Modelle im 8B- bis 14B-Bereich
Empfohlene Kontextlänge
8.000 bis 16.000 Tokens
Hinweis
Schwankt je nach freiem Speicher und Quantisierung. Starte lieber klein und taste dich hoch, solange dein Rechner flüssig mitkommt.