Bevindingen

Offline modellen runnen, wat er op een laptop zonder grafische kaart past

Dit is een aparte notitie, nog geen lesmateriaal. De cijfers hieronder zijn één meting op één machine, met een schatting van de snelheid erbij. Later kan dit een module worden over modellen die je zonder internet laat draaien. Voorlopig staat het hier zodat het niet verloren gaat.

De gemeten machine

OnderdeelWaarde
LaptopASUS Vivobook M1502YA
ProcessorRyzen 7 5825U, 8 cores en 16 threads
Geheugen15,4 GB bruikbaar
Grafische kaartAMD Radeon in de processor, geen eigen VRAM
Vrije schijf250,7 GB

Zonder aparte grafische kaart deelt het model het gewone geheugen met de processor. Dat is de reden dat de bovengrens rond 9 miljard parameters ligt: alles daarboven wordt zo traag dat het niet meer bruikbaar is.

De modellen die op deze machine passen

ModelGrootte (Q4)Snelheid (schatting)Waarvoor
Qwen3.5-0.8B, of BotPsy-0.8B0,5 tot 0,8 GB30+ tokens per secondeAutomatisering: taken uitvoeren, knoppen indrukken in apps. BotPsy is speciaal getraind voor dat soort werk en verslaat modellen tot 1,2 miljard parameters (bron: model card QVAC, 11 november 2026)
K2 Horizon 3.7Bongeveer 2,5 GB8 tot 12 tokens per secondeKoploper in de klasse onder 4 miljard op de Artificial Analysis index van 7 november 2026
Gemma 4 E4B5,90 GB4 tot 6 tokens per secondeGoede Nederlandse tekst, documenten samenvatten. Dit is het beste schrijfmaatje voor deze machine
Qwen3.5-9B5,68 GB2 tot 4 tokens per secondeDe bovengrens. Slimmer, maar traag, dus alleen voor dingen die mogen duren (bron: gpuwerk.com, november 2026)
Gemma 4 12B7,40 GB1 tot 2 tokens per secondeTechnisch mogelijk, praktisch te traag

De snelheden zijn schattingen op basis van de processor en de geheugenbandbreedte, niet gemeten met een stopwatch. Bij de kleine modellen leest het mee terwijl je typt, bij de 9B is het even wachten.

Waar het eerlijk misgaat

  • Kwaliteit ligt lager dan in de cloud. Een model van 9 miljard parameters is duidelijk zwakker dan wat een cloudmodel levert. Bruikbaar voor schetsen en herschrijven, niet voor eindredactie.
  • Grootte is niet hetzelfde als bruikbaarheid. Een model van 12 miljard laadt wel, maar 1 tot 2 tokens per seconde maakt een gesprek onwerkbaar.
  • Geheugen is de echte grens, niet de schijf. Twee modellen tegelijk laden lukt niet op 15,4 GB.
  • De schattingen moeten nog gemeten worden. Wie hier een module van maakt, meet eerst de echte snelheid op deze laptop.

Wat erbij hoort, en nog niet is uitgewerkt

  • LM Studio als venster waarin je zoekt, downloadt en chat, zonder terminal.
  • Ollama voor het draaien op de achtergrond, zodat Hermes of een ander programma het model kan gebruiken.
  • Kiwix voor offline kennis, bijvoorbeeld de Nederlandstalige Wikipedia.
  • CoMaps voor offline kaarten.
  • whisper.cpp voor dicteren zonder dat er iets naar een server gaat.

Bronnen

  • QVAC, BotPsy-0.8B model card en aankondiging, 11 november 2026: https://huggingface.co/qvac/BotPsy-0.8B
  • gpuwerk.com, overzicht van kleine modellen onder 10 miljard, november 2026: https://gpuwerk.com/blog/best-small-language-models
  • Artificial Analysis index, gelezen op 7 november 2026, via dezelfde bron.
  • Eigen meting van de hardware op deze laptop, 14 november 2026.
← Alles uit de vaultVul de intake in →