Ik optimaliseer je llm app voor lagere latency en kosten


Over deze dienst
Automatische vertaling
Ik optimaliseer LLM-toepassingen die te traag of te duur zijn.
Wat ik in productie heb gedaan:
- P95 latency met 70 procent verlaagd en de servicekosten met 38 procent door context caching, gestructureerde output en model routing
- Output tokens met 49 procent verminderd zonder kwaliteitsverlies
- Lijst-eindpunten 125x sneller gemaakt en een Threads-query van 411ms naar 1,6ms versneld
- Drie LLM- en embedding-modellen verhuisd naar een on-premise DGX zonder downtime
Hoe het werkt:
1. Je deelt je prompts, traces, modelconfiguratie en je latency- of kostengetallen
2. Ik profileer de pipeline en stuur een prioriteitenrapport
3. Ik voer de fixes door en laat je de benchmarks voor en na zien
Stack: OpenAI, Anthropic, vLLM, LangChain, RAG, pgvector, Python, TypeScript, Rust, Go, AWS.
Vertel me je huidige p95 en maandelijkse uitgaven en ik vertel je wat realistisch is.
Maak kennis met Cheolhee Lee
AI Full Stack Developer specializing in LLM and RAG optimization
- Afkomstig uitZuid-Korea
- Lid sindsapr 2021
Talen
Koreaans, Engels
Automatische vertaling
