Kan ik een serieus LLM draaien op mijn Mac met M-chip?

Ja, en verrassend goed. Mac-Studio's met M2 Ultra of M3 Max kunnen modellen tot 70B parameters in geheugen houden door unified memory. Voor één gebruiker of een klein team is dat een werkbare on-prem oplossing zonder GPU-server. Voor multi-user productie kies je iets anders.

Probeer dit eerst zelf

1. 1Bepaal je RAM-budget: 16 GB volstaat voor 7B-modellen (kwantiseerd), 32 GB voor 13B, 64 GB voor 30B, 128 GB+ voor 70B. Onthoud dat het OS en je werk ook geheugen vragen.
2. 2Installeer Ollama of LM Studio. Beide draaien op Apple Silicon met Metal-versnelling, geen extra config. LM Studio heeft een GUI, Ollama is CLI met een API-server eronder.
3. 3Kies een gekwantiseerd model: Q4_K_M of Q5_K_M is voor de meeste MKB-toepassingen het juiste compromis tussen kwaliteit en geheugen. Ongekwantiseerde 16-bit modellen vragen vier keer zoveel RAM.
4. 4Test latency: een goed afgestemde M2 Ultra haalt 30 tot 60 tokens per seconde op een 13B-model. Voor interactieve chat is dat prima, voor batch-werk geduld of cloud.
5. 5Beperkingen: één Mac is één gebruiker tegelijk in de praktijk. Twee gelijktijdige sessies geven race-condities op het geheugen. Voor een team kies je een Linux-server met GPU of cloud-inference.

Past het bovenstaande niet?

Beschrijf je situatie hieronder. We sturen jouw input plus de stappen die je al zag naar onze AI en geven gericht vervolg-advies. Als het te risicovol is om zelf te doen, zeggen we dat ook.