Door categorieën bladeren
Ontdekken
Fiverr Pro
Nederlands
$
USD
Ik zet een litellm gateway op met llm observability
ali shah
Over deze dienst
Automatische vertaling
LLM apps zonder gateway en traces worden giswerk: geen idee welke key wat heeft besteed, welk model traag is, of waarom de kosten verdubbelen na lancering. Ik zet LiteLLM + Langfuse op zodat je alles kunt zien en controleren.
WAT IK OPZET
- LiteLLM proxy op Docker, VPS of jouw cloud, met een OpenAI-compatibele /v1 endpoint
- Routing voor meerdere providers: OpenAI, Anthropic, Gemini, Azure, Bedrock, OpenRouter, lokale modellen
- Virtuele keys per app/team met budgetten, RPM/TPM-limieten en toegang per model
- Fallback-ketens en automatische retry/failover bij 429, 500 en timeouts
- Kostenmonitoring per key, per model, per klant, met 60/80/100% bestedingswaarschuwingen
- Langfuse (of LangSmith/Helicone) traces, latency-percentielen en foutlogs
- Eén dashboard of wekelijkse rapportage die je team echt kan lezen
- config.yaml, deployment-notities en een handoff runbook
Dit is geen chatbot-constructie. Het is voor teams die al een LLM app draaien of uitrollen en die productiecontrole willen hebben.
Stuur je providers, schatting van verkeer en waar het nu draait. Ik bevestig de scope binnen 24 uur.
Maak kennis met ali shah
ali shah
AI LLM Engineer RAG, Agents, LLM Ops Shopify Hydrogen
- Afkomstig uitPakistan
- Lid sindsaug 2026
Talen
Urdu, Engels
5 years shipping production software (Systems Limited, then Contour
Software) as a backend + AI engineer. I build the unglamorous parts that
make AI products work: RAG retrieval that actually returns the right
chunk, evals that catch hallucinations before customers do, LiteLLM
gateways and Langfuse traces so you know your per-user cost, and vLLM on
your own GPU. Also custom Shopify Hydrogen storefronts.
.
Automatische vertaling
Mijn portfolio
Andere AI-development diensten die ik aanbied
Veelgestelde vragen
Automatische vertaling
LiteLLM, OpenRouter of Portkey — welke heb ik nodig?
OpenRouter als je managed toegang wilt tot veel modellen met minimale infra en per-token markup accepteert. LiteLLM self-hosted als je je eigen keys, budgetten, datalocaliteit of nul per-request markup nodig hebt. Ik adviseer degene die het beste past, inclusief "houd wat je hebt".
Moet mijn app-code herschreven worden?
Bijna nooit. LiteLLM biedt een OpenAI-compatibele endpoint, dus meestal is het een wijziging in base-URL en key. Ik refactor alleen waar retries of streaming aandacht nodig hebben, en ik laat je de diff zien.
Volgt dit de kosten per klant?
Ja — dat is de belangrijkste reden waarom teams het kopen. Bestedingen per virtuele key en per tag, zodat je kunt zien welke klant of functie verliesgevend is. Op aanvraag model ik je prijsberekening als extra service.
Zelf-hosted of Langfuse Cloud?
Beide werken. Cloud is het snelst en ik zet het dezelfde dag op; zelf-hosted houdt traces en prompt tekst binnen je VPC, wat belangrijk is als je gereguleerde data verwerkt. Vertel me je beperking en ik kies.
Kan je keys migreren zonder downtime?
Ja. Ik draai de gateway in shadow mode naast je directe calls, verifieer identieke outputs en kosten, en schakel dan over. Rollback is één env var, dus een slechte deployment is geen incident.
