Mijn document is groter dan het context-venster van het model, wat nu?
Context-vensters zijn groter dan vroeger maar nog steeds eindig. Een 200-pagina rapport in één prompt stoppen werkt soms maar geeft trage en onbetrouwbare antwoorden. Drie patronen lossen dit op: chunken plus retrieval, hierarchische samenvattingen, of een long-context model voor specifieke taken.
Probeer dit eerst zelf
- 1Bepaal eerst de taak: zoek je een feit (RAG past) of synthetiseer je over het hele document (samenvatting past)? Het juiste patroon hangt af van het doel.
- 2Voor zoeken: chunk en embed het document zoals bij RAG, en haal alleen relevante stukken op. Een 200-pagina rapport zoeken doe je nooit door alles in te plakken.
- 3Voor synthese: gebruik hierarchische samenvatting. Per hoofdstuk een samenvatting genereren, dan een samenvatting van de samenvattingen. De keten kost meer tokens maar geeft een coherent geheel.
- 4Voor specifieke taken (juridisch nazoeken, contract-vergelijking) zijn long-context modellen (Claude Sonnet, Gemini Pro met groot venster) een optie. Reken wel de kosten: één prompt van 500K tokens kan duurder zijn dan de hele dag normale chats.
- 5Meet 'lost in the middle': lange contexts vergeten vaak het midden. Test door bekende feiten op verschillende posities te zetten en zien wat het model terugvindt.
Wanneer ons inschakelen
Wil je dat we voor jullie use case bepalen of RAG, hierarchische samenvatting of long-context het juiste patroon is, dan kunnen we het uitwerken.
Zie ook
- Mag ik een klantbestand of mail in ChatGPT plakken?Hangt af van het account en de instellingen. Een gratis ChatGPT en een Team-tenant gedragen zich anders dan veel mensen denken.
- Ik wil één pagina AI-beleid voor mijn teamEen echte one-pager werkt beter dan een dik document dat niemand leest. Vier kopjes en concrete voorbeelden.
- Hoe weet ik of een AI-antwoord verzonnen is?Modellen klinken zelfverzekerd, ook als ze fout zijn. Een paar vaste checks vangen de meeste fouten af.
Past het bovenstaande niet?
Beschrijf je situatie hieronder. We sturen jouw input plus de stappen die je al zag naar onze AI en geven gericht vervolg-advies. Als het te risicovol is om zelf te doen, zeggen we dat ook.
Of doe het helemaal niet zelf
Onze Managed IT-klanten zoeken dit soort vragen niet op. Eén aanspreekpunt, vaste prijs per maand, en het is binnen werktijd opgelost.