Ik bouw een llm evaluatieharnas voor je ai-agent of chatbot

A
akashlp
A
akashlp
Akash L
Sommige informatie is automatisch vertaald.

Over deze dienst

Automatische vertaling

De meeste AI-agenten worden zonder nummer geleverd. Je verandert een prompt, wisselt van model, voegt een tool toe, en niemand kan zeggen of het beter is geworden of stilletjes slechter.


Ik bouw het evaluatieharnas dat dat antwoord geeft.


Ik ben een AI-engineer met 4 jaar productie-ervaring. Ik was de enige auteur van de conversational agent achter een US supply-chain platform's in-product assistent, een multi-agent LangGraph pipeline over een 125-parameters tool surface, en ik heb de drie-pass validatielaag gebouwd: 38 enum-checked velden, LLM-gebaseerde waarde correctie en een hallucinatie-pass.


WAT JE KRIJGT

  • Een testset opgebouwd uit je echte verkeer of je specificatie
  • Metrics die passen bij jouw use case: exacte match, semantische gelijkenis, trouw, tool-call nauwkeurigheid, latency en kosten
  • LLM-als-jury scoring met gekalibreerde rubrics
  • Een commando dat de suite runt en een gescoord rapport oplevert
  • Regression baselines zodat je twee versies kunt vergelijken
  • Optionele CI gating zodat een slechte prompt nooit in productie komt


Stack: Python, pytest, LangChain, LangGraph, OpenAI, Anthropic, Llama, Ragas, DeepEval, MLflow.


Vertel me wat je agent doet en ik vertel je wat ik zou meten.

Maak kennis met Akash L

Akash L

AI Engineer, LLM Agents, RAG and MLOps

  • Afkomstig uitIndia
  • Lid sindsmrt 2020
  • Talen

    Tamil, Engels
AI engineer with 4 years building LLM systems that run in production, not just demos. I was sole author of a multi-agent LangGraph assistant for a US supply-chain platform. Plain-English questions turned into validated calls across a 125-parameter tool surface. It survived a re-platform and still runs today. I build the unglamorous parts too: RAG pipelines, tool schemas, validation that degrades gracefully instead of crashing, and eval harnesses that catch regressions before your users do. Python, LangGraph, LangChain, RAG, FastAPI, AWS. Tell me what you are building.

Automatische vertaling