Ik maak een ai agent workflow met rag evaluation die echt werk doet

De meeste agentdemo's werken één keer en breken de eerste week dat ze echte data tegenkomen. Ik bouw de onderdelen die ervoor zorgen dat ze standhouden.

Een goedkeuringspoort voor mensen, zodat er niets onomkeerbaars gebeurt zonder goedkeuring. Een validatielus die werk terugstuurt totdat het convergeert, in plaats van de eerste plausibele antwoord te accepteren. Een evaluatie-harnas, zodat je kunt zien of het beter is geworden wanneer je een prompt wijzigt of een model vervangt.

Multi-agent orchestratie wanneer één agent niet genoeg is: een proposer werkt, een onafhankelijke validator wijst af wat de constraint breekt, en het wordt gecorrigeerd teruggestuurd.

Als je agent antwoord geeft op basis van je eigen documenten, is dat RAG, en het lastige is weten of retrieval de juiste passage teruggeeft. Ik bouw de RAG-evaluatie ermee, op een set die je na elke wijziging opnieuw runt, zodat kwaliteit een getal is en geen gevoel.

8 jaar als backend- en data engineer bij een enterprise data bedrijf: 439 pull requests beoordeeld in 19 repositories, 107 incidenten opgelost.

Je krijgt de workflow geïntegreerd in je tools, het harnas, broncode en documentatie. Java, Python, TypeScript. GPT, Claude, Gemini.

Vertel me de klus en ik zeg eerlijk of een agent het juiste gereedschap is.