Mijn LLM-stap geeft soms vrije tekst, soms JSON, downstream breekt

Standaard LLM-output is tekstueel en niet betrouwbaar parsebaar. Voor automatie heb je structured output nodig: JSON-mode of tool-calling. Dan is de output gegarandeerd geldig JSON met je schema.

Probeer dit eerst zelf

1. 1OpenAI: zet response_format op {type: 'json_object'} of beter: 'json_schema' met een schema-definitie. Anthropic: gebruik tool-use om een schema af te dwingen.
2. 2Definieer een minimaal schema: alleen de velden die je nodig hebt, met types en required-markers. Hoe strakker, hoe betrouwbaarder de output.
3. 3Sluit het schema in de prompt af met expliciete instructie 'antwoord met alleen JSON, geen toelichting'. Dat dempt de overshoot bij oudere modellen.
4. 4Test op edge-cases: invoer met geen relevante info, met conflicterende info, met heel lange invoer. Wat doet het model?
5. 5Vang JSON.parse-fouten op met een fall-back: tweede LLM-call met de instructie 'fix dit JSON', of een hardgecodeerd default-record.

Past het bovenstaande niet?

Beschrijf je situatie hieronder. We sturen jouw input plus de stappen die je al zag naar onze AI en geven gericht vervolg-advies. Als het te risicovol is om zelf te doen, zeggen we dat ook.