Ollama lokaal installeren, waar moet ik op letten?
Ollama draait open modellen op je eigen machine. Werkt prima op een goede laptop, maar prestaties hangen volledig af van GPU en geheugen.
Probeer dit eerst zelf
- 1Test eerst een klein model voor je een groot model trekt
- 2Houd minstens 16 GB werkgeheugen aan, meer voor grotere modellen
- 3Beperk netwerk-toegang van Ollama als de machine ook klantdata raakt
- 4Documenteer welke modellen wie heeft, anders weet niemand het meer
Wanneer ons inschakelen
Als je dit voor klantdata wil inzetten, dan eerst beleid en hardening.
Zie ook
- Mag ik een klantbestand of mail in ChatGPT plakken?Hangt af van het account en de instellingen. Een gratis ChatGPT en een Team-tenant gedragen zich anders dan veel mensen denken.
- Ik wil één pagina AI-beleid voor mijn teamEen echte one-pager werkt beter dan een dik document dat niemand leest. Vier kopjes en concrete voorbeelden.
- Hoe weet ik of een AI-antwoord verzonnen is?Modellen klinken zelfverzekerd, ook als ze fout zijn. Een paar vaste checks vangen de meeste fouten af.
Past het bovenstaande niet?
Beschrijf je situatie hieronder. We sturen jouw input plus de stappen die je al zag naar onze AI en geven gericht vervolg-advies. Als het te risicovol is om zelf te doen, zeggen we dat ook.
Of doe het helemaal niet zelf
Onze Managed IT-klanten zoeken dit soort vragen niet op. Eén aanspreekpunt, vaste prijs per maand, en het is binnen werktijd opgelost.