Ik implementeer open llms op je GPU-server met vllm, docker en ollama
AI-ingenieur
Niveau 2
Voldoet aan hoge prestatiecriteria en heeft een bewezen staat van dienst in het voldoen aan de verwachtingen van de klant.
Over deze dienst
Run open LLMs op JOUW infrastructuur zonder per-token API-kosten, volledige dataprivacy.
Ik zet productieklare LLM-diensten op jouw GPU VPS of on-premises server:
- Een-commando implementatie met Ollama, of hoge doorvoer met vLLM
- Docker-gebaseerde, reproduceerbare setups met herstartbeleid
- Gekwantiseerde modellen (AWQ/GPTQ) afgestemd op jouw VRAM-budget
- OpenAI-compatibele API-endpoint met toegangscontrole
- Optionele RAG-aansluiting zodat het model antwoord geeft op basis van jouw documenten
Ik ben een PhD AI-ingenieur die open-weight LLMs heeft verfijnd en in productie heeft gezet.
Basis: één open LLM geïmplementeerd via Ollama op jouw server.
Standaard: vLLM + Docker + beveiligd API-endpoint, load-tested.
Premium: multi-model setup, kwantisatie-afstemming, monitoring dashboard en volledige documentatie.
Jij levert de server (elke GPU VPS werkt); ik regel de rest.
Expertise:
Software development
Programmeertaal:
Python
Mijn portfolio
Andere Data science en ML diensten die ik aanbied
Veelgestelde vragen
Automatische vertaling
Welk server heb ik nodig?
Elke Linux VPS met een NVIDIA GPU (RunPod, Vast.ai, AWS of je eigen hardware). 16GB+ VRAM is ideaal; vertel me je specificaties en ik kies het juiste model + quantization.
Welke modellen kan je inzetten?
Llama 4, Qwen 3, Mistral Large, DeepSeek V4, Phi-4, Gemma en andere open modellen. Als je een getunede model wilt laten deployen, kijk dan naar mijn fine-tuning dienst — ik doe beide.
Is mijn data privé?
Helemaal — het model draait op jouw server. Niets wordt naar third-party APIs gestuurd.
Biedt u doorlopend onderhoud aan?
Premium bevat documentatie zodat jouw team het kan beheren. Onderhoudscontracten zijn beschikbaar — stuur me een bericht.
