Door categorieën bladeren
Ontdekken
Fiverr Pro
Nederlands
$
USD
Ik implementeer lokale ai met vllm op elke cloud of je eigen server
Software Engineer, Lezer en Onderzoeker
Ik ben zeven jaar geleden in de tech wereld gestapt. Eerst heb ik data pipelines gebouwd. Daarna heb ik gewerkt aan sensor fusion voor autonome voertuigen (ego). Vervolgens heb ik voor Amerikaanse bed...
Over deze dienst
Als je LLMs op grote schaal gebruikt of in een gereguleerde industrie werkt of je geeft om privacy, dan moet je de AI in eigen beheer hebben. Ik zet LLMs/vision-llms/diepe leermodellen volledig op JOUW infrastructuur in.
WAT JE KRIJGT
- vLLM, SGLang, Ollama, llama.cpp en MLX serving
- API-endpoint compatibel met OpenAI/Anthropic
- Quantisatie afgestemd op jouw hardware
- P99 TTFT, throughput en batch-grootte afstemming op jouw SLO's
- KV-cache en prefix caching
- Speculatief decoderen en chunked prefill voor snelheid
- NVIDIA CUDA, AMD ROCm, Apple Silicon of CPU-only
- AWS, GCP, Azure, RunPod, Lambda of jouw eigen server
- Load getest: P50/P99 latency, tokens/sec, maximale gelijktijdige gebruikers
OOK BESCHIKBAAR
- In-browser AI met WebLLM (MLC)
- On-device iOS/Android en snellere whisper voice
Snelle inferentie is een balans: TTFT, tokens/sec en gelijktijdige gebruikers concurreren om hetzelfde VRAM. Ik stem af op jouw SLO.
Veelgestelde vragen
Automatische vertaling
Welke inference engine moet ik kiezen?
Hangt af van je belasting: Ollama voor kleine teams (~10 gebruikers), vLLM voor productie doorvoer, SGLang voor multi-turn/agent workloads. Ik beoordeel jouw situatie voordat je bestelt.
Welke hardware ondersteund je?
NVIDIA CUDA, AMD ROCm, Vulkan, Apple MLX en CPU-only servers. De hardware generatie maakt uit. Ampere, Hopper en Blackwell verschillen.
Kun je implementeren op mobiel of in een browser?
Ja. In-browser via WebLLM. Op device iOS/Android alleen voor ondersteunde modellen.
Hoe snel wordt mijn model?
Snelheid is een driehoekige afweging: time-to-first-token, tokens per seconde en hoeveel gebruikers in het geheugen passen. Je kunt niet alles maximaliseren. Vertel me je beperkingen en ik configureer de engine zodat het de juiste balans vindt.
