Mijn AI-rekening loopt op, hoe houd ik dat onder controle?

LLM-stappen in workflows lijken goedkoop totdat het volume groeit. Token-verbruik is meestal lineair in input plus output, en sommige flows roepen het model meerdere keren per record aan. Cost-control begint bij meten.

Probeer dit eerst zelf

1. 1Log per LLM-stap input-tokens, output-tokens en gebruikte model. Maak een dashboard met dag-totaal en per-flow-kosten.
2. 2Stel een hard budget-alert in bij de provider (OpenAI, Anthropic) op dag- of maandniveau. Een 'oeps, vergeten te limiteren' krijg je niet terug.
3. 3Pak het juiste model per taak: classificatie kan vaak op een klein/snel model (Haiku, GPT-4o-mini), redenering vereist een groter model. Mix ze.
4. 4Cache identieke vragen: als 5 records dezelfde prompt opleveren, sla het antwoord op een hash van de prompt op en sla de tweede call over.
5. 5Trim de prompt: lange system-prompts en irrelevante context drukken het tokenverbruik niet, ze verhogen het. Schrap wat niet bijdraagt.

Past het bovenstaande niet?

Beschrijf je situatie hieronder. We sturen jouw input plus de stappen die je al zag naar onze AI en geven gericht vervolg-advies. Als het te risicovol is om zelf te doen, zeggen we dat ook.