Ik bouw end-to-end lokale rag-systemen en chatbots

Een Poolse RAG chatbot, gebouwd van begin tot eind, van het scrapen van artikelen tot een afgerond antwoord met drie links naar de gebruikte bronnen.

De kennisbank is bewust klein: 141 helpartikelen. Op die grootte kan ik elke verandering meten op een testset in plaats van te gokken.

Zoekfunctie is hybride. Trefwoordmatching behandelt vragen waarbij één exact woord de antwoordbepaling is, vector search behandelt de betekenis, de twee ranglijsten worden samengevoegd, en een cross encoder kiest de beste drie uit twintig kandidaten. Nauwkeurigheid is 58 van 60 op de testset.

Werkelijke vragen komen met typefouten, dus een spell corrector zit voor de pipeline, bewaakt door een woordfrequentiecontrole zodat het geen correcte input verknalt.

Het systeem weet ook wanneer het weigert. Off-topic vragen worden snel afgewezen voordat ze worden gegenereerd, een tweede model beslist over de randgevallen, en een coverage check achteraf vangt antwoorden die niet gebaseerd zijn op de opgehaalde tekst.

Retrieval draait lokaal: embeddings, indexen en de reranker zitten allemaal op de server. De publieke demo roept een gehost model aan voor generatie omdat de VPS geen GPU heeft, maar het is dezelfde code met een ander config-bestand, en het draait volledig offline op Ollama.