Ik bouw een llm-evaluatieset of auditeer jouw llm-judge

Jouw LLM-functie is door de demo gekomen. Zal hij ook slagen na de volgende prompt of bij een modelwijziging?

Ik bouw evaluatiesets die dat beantwoorden. Je krijgt een rubric geschreven voor jouw use case, een testset met verwachte antwoorden en, als een LLM jouw outputs beoordeelt, een controle hoe betrouwbaar die judge is.

Wat je krijgt:

• Een rubric en testset opgebouwd rondom jouw echte faalmodi
• Een LLM-as-judge-audit: overeenstemming met menselijke beoordelingen, kans-gecorrigeerd (Cohen's kappa, Krippendorff's alpha), plus bias-onderzoeken
• Een CI-regressietoegang (Premium) zodat elke wijziging tegen de suite wordt getest

Waarom ik: ik bouwde judgecheck, een betrouwbaarheidrapport voor LLM-judges die laat zien hoe 96% ruwe overeenstemming kans-gecorrigeerde scores zo laag als 0,60 kan verbergen, en coding-eval, waarmee coding-agentpogingen in een sandbox worden herhaald (20 van 21 beweerde successen; 5 geslaagd). Ik evalueer frontier-model code professioneel en bouw rubric- en kalibratietools voor Arabic klinische AI.

Stuur me een bericht met wat de feature doet, een paar voorbeeldin- en outputs, en wat een goed antwoord voor jou is.