Ik implementeer een privé zelfgehost AI-model op jouw server
Over deze dienst
Iedereen wil AI draaien. De meeste mensen blijven hangen bij de infrastructuur.
Ik ben een DevOps Engineer uit Duitsland. Ik zet een volledig werkend self-hosted LLM op jouw server, snel, privé en onder jouw controle. Geen API-kosten, geen data die je infrastructuur verlaten. En GDPR-compliant
Waar ik mee werk:
- Ollama snelle lokale modelservering vLLM high-performance GPU-inference voor productie
- Open WebUI schone ChatGPT-achtige interface voor jouw team
- LocalAI OpenAI-compatibele API voor bestaande apps
- Docker + GPU passthrough op VPS of bare metal
Wat je krijgt:
- Werkend LLM dat toegankelijk is via browser of API
- NGINX reverse proxy + SSL-certificaat
- Authenticatie zodat niet iedereen er toegang toe heeft
- Jouw keuze van model: Llama, Mistral, Gemma, Phi en meer
- Documentatie zodat je het daarna zelf kunt beheren
Of je nu een developer bent die een privé coding assistant wil, een startup die een intern AI-tool nodig heeft, of een bedrijf dat vanwege compliance geen data naar OpenAI kan sturen, aarzel niet om te bellen!
Ik werk in het Engels, Duits, Frans en Arabisch.
Tools:
Kubernetes
•
Docker
•
Amazon EKS
•
Google Kubernetes Engine
Frameworks:
Terraform
•
Ansible
•
Chef
•
Pop
•
SaltStack
Programmeertaal:
Bash
•
C
•
Go
•
JavaScript
•
Kotlin
•
Python
•
Ruby
•
Golang
•
Perl
Expertise:
Installatie
•
Migratie
•
Configuratie
Andere DevOps-techniek diensten die ik aanbied
Veelgestelde vragen
Automatische vertaling
Heb ik een GPU nodig?
Niet per se. Kleinere modellen (3B–7B) draaien prima op CPU met voldoende RAM. Ik adviseer je over het juiste model voor jouw hardware voordat we beginnen.
Blijft mijn data privé?
Ja — dat is het hele punt. Alles draait op jouw server, er wordt niets naar OpenAI of een derde partij gestuurd.
Kan ik het verbinden met mijn bestaande app?
Ja. Ik kan een OpenAI-compatibele API-endpoint aanbieden zodat jouw app kan schakelen van OpenAI naar jouw zelfgehoste model met minimale codewijzigingen.
Welk server heb ik nodig?
Stuur me een bericht met jouw huidige setup en ik vertel je precies wat er nodig is. Een basis VPS van €10/maand werkt voor kleinere modellen.
