Ik maak je rag chatbot, ai agent of llm die verkeerde of hallucineerde antwoorden geeft, in orde

Ik los een bekende fout op in een RAG- of retrieval-pipeline die je al hebt.

Je noemt de vraag die verkeerd terugkomt: hij verzint een antwoord, mist een document waarvan je weet dat het er is, citeert de verkeerde bron, of geeft een antwoord terwijl hij zou moeten zeggen dat hij het niet weet.

Wat je krijgt

- De fix, als een diff die je kunt lezen en terugdraaien

- Je falende vraag die nu slaagt: hij faalt vóór de fix en slaagt erna

- Wat er precies fout was, benoemd: het chunking, de embedding, de top-k, de filter, of de prompt

Standaard voegt de eval cases toe die het vastzetten: de vraag, de bron die geciteerd moet worden, en de case voor lege antwoorden, zodat de fout niet stilletjes terug kan komen.

Premium is voor wanneer het verkeerde antwoord een symptoom is. Eén benoemde vraagroute, tot 3 fouten erop, citaties die je kunt openen, en een geschreven lijst van wat ik onaangeroerd heb gelaten.

Hoe het werkt: stuur de falende vraag en de repo. Ik reproduceer het, repareer het, en stuur de diff.

Sinds 2011 run ik RedRobot, bouw ik productie data systemen op klantinfrastructuur. Daarvoor beheerde ik MySQL en MariaDB in Japan en leidde ik de markttoetreding van DataStax daar.

Alleen bestaande pipelines. Ik bouw geen RAG vanaf nul, integreer geen nieuw corpus, en train geen model.