Onze AI-app krijgt veel dezelfde vragen, kunnen we de antwoorden cachen?

Ja, en het is meestal de grootste kostenbesparing in een live AI-app. Twee niveaus zijn de moeite: prompt-caching aan de leveranciers-kant (Anthropic, OpenAI cache de input-tokens) en applicatie-cache aan jouw kant (zelfde vraag, hergebruikt antwoord). Beide samen kunnen factor 2 tot 10 schelen.

Probeer dit eerst zelf

1. 1Detecteer cachebare vragen: een hash op (genormaliseerd prompt, model, parameters). Een chatbot die 'wat zijn jullie openingstijden' tien keer per dag krijgt heeft een perfecte cache-hit.
2. 2Sla op in Redis, Vercel KV of een eenvoudige Postgres-tabel met TTL. Bij feitelijke vragen zoals openingstijden of beleid is een TTL van uren of dagen prima, bij persoonlijke data altijd geen of zeer korte TTL.
3. 3Schakel prompt-caching in op API-niveau waar beschikbaar (Anthropic prompt-caching, OpenAI prompt caching). Dezelfde systeem-prompt of context-blok wordt dan goedkoper in vervolg-requests.
4. 4Bewaak de hit-rate. Een goede cache-hit-rate voor FAQ-achtige vragen ligt vaak boven 30 procent. Onder de 5 procent is je sleutel-strategie waarschijnlijk te strikt, fix de normalisatie.
5. 5Cache nooit blind voor multi-user inputs met PII of klantcontext. Sluit gebruiker-id of context-id mee in de sleutel om data-lek tussen gebruikers te voorkomen.

Past het bovenstaande niet?

Beschrijf je situatie hieronder. We sturen jouw input plus de stappen die je al zag naar onze AI en geven gericht vervolg-advies. Als het te risicovol is om zelf te doen, zeggen we dat ook.