Door categorieën bladeren
Ontdekken
Fiverr Pro
Nederlands
$
USD
Ik implementeer je LLM op Kubernetes met vllm, Docker en GPU-ondersteuning
AI Voice en Automation engineer, DevOps
Hoi 👋 ik ben Khuzaima, een AI Automation & Full-Stack ontwikkelaar die startups en bedrijven helpt om ideeën om te zetten in werkende AI-producten en geautomatiseerde systemen.
Ik bouw AI SaaS MVPs,...
Niveau 1
Voldoet aan bepaalde prestatiecriteria en toont een sterke potentie op de marktplaats.
Over deze dienst
Heb je een open-source LLM-model dat lokaal werkt, maar wil je dat als een productieklare API?
Ik help je je Hugging Face of open-source LLM te implementeren op Kubernetes met een productieklare AI-implementatiestack: vLLM, Docker, CUDA, Kubernetes Deployment, GPU-nodes, Service, Ingress en OpenAI-compatibele API-eindpunten.
Wat ik voor je kan doen:
- Je model, use case en hardwarevereisten beoordelen
- Een compatibel Hugging Face of aangepast model kiezen
- De juiste inference engine configureren: vLLM, TensorRT-LLM of SGLang
- Het model, libraries en runtime inpakken in een deploybare container
- Kubernetes-manifests voorbereiden voor je AI-service
- GPU-ondersteunde deployment configureren voor compatibele clusters
- Service of Ingress instellen voor API-toegang
- Een OpenAI-compatibel eindpunt maken waar mogelijk
- De volledige request- en responseflow testen
- Duidelijke overdrachtsdocumentatie leveren
Ondersteunde modelfamilies kunnen onder andere Qwen, Llama, Mistral, Gemma, DeepSeek en andere compatibele Hugging Face-modellen omvatten.
Stuur me eerst een bericht voordat je bestelt, zodat ik je model, cloudprovider, Kubernetes-setup, GPU-beschikbaarheid en deploymentvereisten kan beoordelen.
Tools:
Kubernetes
•
Docker
Frameworks:
Terraform
•
Pulumi
•
Ansible
•
Crossplane
•
Overige
Programmeertaal:
Bash
•
Go
•
JavaScript
•
Python
•
Overige
Expertise:
Installatie
•
Debuggen
•
Configuratie
Mijn portfolio
Veelgestelde vragen
Automatische vertaling
Waarom moet ik u een bericht sturen voordat u bestelt?
De implementatie van LLM hangt sterk af van modelgrootte, GPU-geheugen, Kubernetes-setup en API-eisen. Eerst contact opnemen helpt om compatibiliteit te bevestigen, vertragingen te voorkomen en het juiste pakket te kiezen.
Kun je helpen het juiste model voor mijn hardware te kiezen?
Ja. Ik beoordeel je GPU, VRAM, use case en prestatiedoelen om een geschikt modelgrootte en deploymentbenadering voor te stellen voordat ik begin.
Welke toegang heb je nodig om de deployment te voltooien?
Ik heb mogelijk toegang nodig tot je Kubernetes-cluster, cloudconsole, container registry, modelrepository, domein- of ingressgegevens en deploymentomgeving. Exacte toegang hangt af van jouw setup.
Kun je een fijngetuned of aangepast model implementeren?
Ja, als het model compatibel is met de gekozen inference engine en je beschikbare hardware. Deel de modelgegevens vooraf, zodat ik de haalbaarheid kan bevestigen.
Zijn cloud-, GPU- of serverkosten inbegrepen?
Nee. Cloud-, GPU-, domein-, opslag- en infrastructuurkosten zijn niet inbegrepen bij de gigprijs. Jij bent verantwoordelijk voor het leveren van de benodigde server-, cluster- en cloudresources.
Moet ik al een Kubernetes-cluster hebben?
Ja, je moet toegang hebben tot een Kubernetes-cluster of cloudomgeving. Als je er nog geen hebt, stuur me eerst een bericht zodat ik je kan begeleiden in de setup die nodig is voor deployment.
Bied je GPU-setup en configuratie aan?
Ik kan GPU-ondersteunde Kubernetes-deployment configureren voor compatibele clusters. Dit kan GPU-nodeselectie, resourceconfiguratie, CUDA-compatibele runtime setup en basisvalidatie omvatten.
Welke LLM-modellen kun je implementeren?
Ik help bij het implementeren van compatibele Hugging Face- of open-source modellen zoals Qwen, Llama, Mistral, Gemma, DeepSeek en vergelijkbare modellen. De uiteindelijke compatibiliteit hangt af van je GPU, VRAM, modelgrootte en deployment setup.
Ondersteun je vLLM, TensorRT-LLM en SGLang?
Ja. vLLM is de standaardoptie voor de meeste deployments. Afhankelijk van je model, GPU en prestatienoden kan ik ook werken met TensorRT-LLM of SGLang voor meer geavanceerde inference setups.
Zul je een OpenAI-compatibel API-eindpunt bieden?
Ja, waar ondersteund door de inference engine en modelsetup, kan ik een OpenAI-compatibel API-eindpunt exposeren zodat je app de private LLM kan aanroepen, vergelijkbaar met standaard chat completion APIs.
