Ik optimaliseer je llm app voor lagere latency en kosten

C
chlee9
C
chlee9
Cheolhee Lee
Sommige informatie is automatisch vertaald.

Over deze dienst

Automatische vertaling

Ik optimaliseer LLM-toepassingen die te traag of te duur zijn.


Wat ik in productie heb gedaan:

- P95 latency met 70 procent verlaagd en de servicekosten met 38 procent door context caching, gestructureerde output en model routing

- Output tokens met 49 procent verminderd zonder kwaliteitsverlies

- Lijst-eindpunten 125x sneller gemaakt en een Threads-query van 411ms naar 1,6ms versneld

- Drie LLM- en embedding-modellen verhuisd naar een on-premise DGX zonder downtime


Hoe het werkt:

1. Je deelt je prompts, traces, modelconfiguratie en je latency- of kostengetallen

2. Ik profileer de pipeline en stuur een prioriteitenrapport

3. Ik voer de fixes door en laat je de benchmarks voor en na zien


Stack: OpenAI, Anthropic, vLLM, LangChain, RAG, pgvector, Python, TypeScript, Rust, Go, AWS.


Vertel me je huidige p95 en maandelijkse uitgaven en ik vertel je wat realistisch is.

Maak kennis met Cheolhee Lee

Cheolhee Lee

AI Full Stack Developer specializing in LLM and RAG optimization

  • Afkomstig uitZuid-Korea
  • Lid sindsapr 2021
  • Talen

    Koreaans, Engels
I keep my employer and my clients unnamed here. I ship production AI systems end to end at an undisclosed B2B AI SaaS company - a sales-automation SaaS and a public-sector AI evaluation platform. Measured: LLM p95 latency -70%, serving cost -38%, output tokens -49% via context caching and structured output. 125x list speedup, threads query 411ms to 1.6ms, bundle 21.7MB to 2.3MB. Re-homed three LLM models to an on-prem DGX with zero downtime; passed TTA review for Korea's AI Verification program. TypeScript, Python, Rust, Go, React, PostgreSQL, AWS, RAG, vLLM, MCP.

Automatische vertaling

Mijn portfolio

Andere AI-development diensten die ik aanbied