Ik maak AI-code-agent benchmarks met tests en docker-opzet
Software-ingenieur, AI-coderingsevaluatie, agentbenchmarking
Over deze dienst
Nodig om reproduceerbare programmeeruitdagingen om AI-codeassistenten en autonome codeagents te evalueren?
Ik ontwerp en valideer software-engineering benchmarktaken die bedoeld zijn om de prestaties van codeagents te meten.
Diensten
- Repository-gebaseerde taakomschrijvingen voor bugfixes, features of refactoring
- Referentieoplossingen en verwachte uitkomsten
- Geautomatiseerde unit tests en validatiescripts
- Docker-omgeving opzet indien deze in jouw pakket zit
- Uitvoeringscontroles, evaluatiecriteria en falingsanalyse
Leveringen
Taakinstructies, benchmarkbestanden, tests, referentieoplossingen (waar inbegrepen) en validatienotes.
Mijn achtergrond omvat backend software-engineering en praktische AI-codebenchmarks oefeningen met taakspecificatie, referentieoplossingen, testvalidatie en Docker.
Ik werk met geautoriseerde repositories en afgesproken projectvereisten. Stuur me een bericht voordat je bestelt om taal, taakcomplexiteit en pakketomvang te bevestigen.
Testapplicatie:
Software
Apparaat:
Linux
Mijn portfolio
Veelgestelde vragen
Automatische vertaling
Wat is een AI-code-agent benchmark?
Het is een reproduceerbare software-engineeringtaak die meet of een codeagent correcte wijzigingen kan aanbrengen en gespecificeerde tests kan doorstaan.
Kun je taken maken vanuit mijn bestaande repository?
Ja, als je de repository bezit of gemachtigd bent om deze te gebruiken en de benodigde toegang biedt.
Zijn geautomatiseerde tests en referentieoplossingen inbegrepen?
Tests zitten bij alle pakketten inbegrepen. Referentieoplossingen zitten in Standard en Premium.
Lever je Docker-opzet aan?
Docker-gebaseerde setup is inbegrepen in Premium of kan als extra worden aangeboden waar technisch haalbaar.
Kun je code-agent-submissies evalueren?
Ja, tegen afgesproken acceptatietests en criteria; een gedetailleerd evaluatieverslag kan een aangepaste offerte vereisen.
Is de benchmark compatibel met mijn evaluatieharnas?
Ik kan me aanpassen aan een gedocumenteerde interface als technisch haalbaar. Deel vóór bestelling welk formaat je nodig hebt.
