Ik implementeer en optimaliseer llm-inferentie op gpu's met vllm

A
arthur_ac_wu
A
arthur_ac_wu
Arthur Wu
Sommige informatie is automatisch vertaald.

Over deze dienst

Automatische vertaling

Verlaag de latentie van je model en verhoog de throughput met meetbare cijfers.


Typisch werk:

- Host je model met vLLM, SGLang of TensorRT-LLM, afgestemd op jouw GPU-vloot

- Continu indelen/ batching, gepagineerde aandacht, prefix-caching, speculatieve decoding

- Kwantisatie (AWQ / GPTQ / FP8) met een kwaliteit-versus-snelheidsverhouding die jij kunt verifiëren

- CUDA / Triton-profilerings met Nsight om echte knelpunten te vinden

- Docker / Kubernetes verpakking, Prometheus + Grafana dashboards, realistische load tests


Wat je krijgt: deploymentconfiguraties, benchmarkresultaten (p50/p95-latency, tokens/seconde, kosten per 1M tokens), een load-testrapport en een korte runbook die jouw team kan gebruiken.


Wat NIET inbegrepen is: GPU-hardware en clouduitgaven, modellicenties, betaalde externe diensten, 24/7 on-call ondersteuning. Alles draait op jouw infrastructuur.


17 jaar aan systeem- en ML-engineering; ik zet modellen in op klant-GPU's als onderdeel van mijn dagelijkse productwerk.


Stuur mij je modelgrootte, GPU-type en doelgetallen voordat je bestelt.

Maak kennis met Arthur Wu

Arthur Wu
  • Afkomstig uitChina
  • Lid sindsapr 2025
  • Talen

    Chinees, Engels
About Me: As an experienced AI consultant, I provide professional artificial intelligence solution services to help businesses and individuals optimize processes and drive innovation. I'm well-versed in machine learning, deep learning, natural language processing, and other AI technologies that I can apply to real business scenarios. My Services: AI strategy planning and implementation consulting Machine learning model development and deployment recommendations Automated process optimization design AI product feature and user experience design Data-driven decision analysis support

Automatische vertaling

Andere AI-development diensten die ik aanbied

Gerelateerde tags