Ik zet zelf gehoste llm, rag, ollama, vllm, ai agents in op vps of gpu server
AIOps en Linux DevOps engineer
Niveau 1
Voldoet aan bepaalde prestatiecriteria en toont een sterke potentie op de marktplaats.
Over deze dienst
671 vijfsterren reviews · 600+ opdrachten · 13+ jaar ervaring in infrastructuur voor productie
Ik zet open-source LLMs en AI-systemen op jouw eigen servers in, zodat je niet per token betaalt en je data in huis blijft.
Wat ik inzet
- Ollama, vLLM, llama.cpp, OpenWebUI
- Llama, Mistral, Qwen, DeepSeek, Gemma
- RAG met Qdrant, Chroma, Weaviate, pgvector
- AI-agenten via n8n, LangChain, LlamaIndex
Waar ik het inzet
- Jouw VPS: Hetzner, DigitalOcean, Contabo, OVH
- GPU-servers en bare metal: A100, L40S, RTX 4090
- AWS, GCP, Azure, RunPod
- On-premise en air-gapped setups
Hoe het werkt
- Jij stuurt je server specificaties en het model dat je wilt
- Ik bevestig wat jouw hardware realistisch kan draaien
- Ik zet het in, stem het af en documenteer het
Wat je krijgt
- Docker- of systemd-implementatie, reproduceerbaar
- Nginx reverse proxy met SSL en API-authenticatie
- GPU- en VRAM-afstemming zodat het model snel draait
- Monitoring, logging en automatische herstart bij falen
- Uitgeschreven overdrachtsdocumentatie
Track record
- Nobelprijsorganisatie, Starbucks, T-Mobile, Beasley Media
- Platforms die 45.000 gelijktijdige gebruikers bedienen bij 40 Gbps
Stuur me een bericht voordat je bestelt en ik vertel je eerlijk of jouw hardware het aankan.
Tools:
Kubernetes
•
Docker
•
Amazon EKS
•
Google Kubernetes Engine
Frameworks:
Terraform
•
Ansible
•
Pop
Programmeertaal:
Bash
•
Python
Expertise:
Installatie
•
Migratie
•
Debuggen
Mijn portfolio
Veelgestelde vragen
Automatische vertaling
Welke hardware heb ik nodig om een LLM te draaien?
Het hangt af van het model. Een 7B of 8B model in gequantiseerde vorm draait op een GPU met 16GB VRAM, of zelfs op een CPU-only met voldoende RAM. Een 70B model heeft 48GB+ VRAM nodig of meerdere GPUs. Stuur me je server specificaties voordat je bestelt, dan vertel ik je precies wat er goed op draait.
Kan ik het op mijn bestaande VPS inzetten, of heb ik een GPU-server nodig?
Beide opties werken. Kleinere modellen en RAG setups draaien prima op een standaard CPU VPS. Als je grotere modellen of snelle responstijden nodig hebt, help ik je graag bij het kiezen van een GPU host zoals RunPod, Hetzner of Lambda, of zet ik het op hardware die je al hebt.
Blijft mijn data privé?
Ja. Alles draait op jouw eigen infrastructuur. Geen prompts, documenten of embeddings verlaten jouw server, wat de belangrijkste reden is dat de meeste klanten overstappen van hosted APIs. Air-gapped en on-premise setups worden ondersteund.
2 reviews van deze dienst
| (2) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Specificering van de beoordeling
- Communicatieniveau van de freelancer
- Kwaliteit van de levering
- Waarde van de levering
Sorteer op
L lara_chad2

Verenigd Koninkrijk
Excellent service! The deployment was completed quickly and professionally. The seller understood the issue, handled the Dockerized Python AI application deployment smoothly, and kept me updated throughout the process. Everything is working as expected. Highly recommended!
US$ 50
Prijs
1 dag
Looptijd
Nuttig?D drezin

Verenigde Staten
Lopende samenwerkingShazeb was great in understanding the problem and working to fix It. would recommend.
US$ 100-US$ 200
Prijs
2 dagen
Looptijd
Nuttig?
2 reviews van deze dienst
| (2) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Specificering van de beoordeling
- Communicatieniveau van de freelancer
- Kwaliteit van de levering
- Waarde van de levering
Sorteer op
L lara_chad2

Verenigd Koninkrijk
Excellent service! The deployment was completed quickly and professionally. The seller understood the issue, handled the Dockerized Python AI application deployment smoothly, and kept me updated throughout the process. Everything is working as expected. Highly recommended!
US$ 50
Prijs
1 dag
Looptijd
Nuttig?D drezin

Verenigde Staten
Lopende samenwerkingShazeb was great in understanding the problem and working to fix It. would recommend.
US$ 100-US$ 200
Prijs
2 dagen
Looptijd
Nuttig?
