Door categorieën bladeren
Ontdekken
Fiverr Pro
Nederlands
$
USD
Ik zet een private, serverless llm deployment op google cloud run op
Senior Software Engineer en AI Engineer
Ik combineer vele jaren ervaring in software engineering (onder andere voor BMW en Airbus) met moderne AI-technologieën om bedrijven te helpen schaalbare en production-ready AI-oplossingen te implemen...
Over deze dienst
Wil je volledige controle over je AI-data zonder duizenden euro's uit te geven aan dedicated servers? Ik zet een private, open-source LLM (bijvoorbeeld Gemma 4, Llama 3, Mistral) op in jouw eigen Google Cloud (GCP) omgeving.
Waarom deze setup?
- 100% Data-soevereiniteit: Jouw prompts verlaten nooit jouw cloud. Geen afhankelijkheid van third-party API's. Perfect voor gevoelige bedrijfsgegevens.
- Onbeperkte schaalbaarheid: In tegenstelling tot vaste hosting of lokale servers schaalt deze architectuur automatisch. Het kloont instanties bij verkeerspieken en schaalt naar nul tijdens rustperiodes (Pay-per-Use).
- Hoge prestaties: Het model draait op krachtige NVIDIA L4 GPU's.
Wat je ontvangt:
- Gedetailleerde handleiding (Engels): Stapsgewijze gids voor GCP-infrastructuur, IAM-permissies en het aanvragen van GPU-quota's.
- Automatiseringsscript 1: Een slimme Bash-script dat automatisch je gewenste model downloadt en voorbereidt.
- Automatiseringsscript 2: Een deployment script voor de hele cloud stack (Cloud Run & Storage Bucket).
- Ondersteuning: Korte begeleiding tijdens je eerste setup om te zorgen dat alles perfect werkt.
Cloudprovider:
Google Cloud Platform
Expertise:
Deployment
Frameworks:
Overige
Veelgestelde vragen
Automatische vertaling
Welke modellen kunnen worden gehost?
Elk model dat beschikbaar is in GGUF-formaat dat past in de 24 GB VRAM van de NVIDIA L4 GPU. Modellen met 8B tot 14B parameters zijn ideaal.
Wat zijn de kosten tijdens gebruik op Google?
Tijdens rustige tijden betaal je slechts minimale opslagkosten (~$0,20/maand). Tijdens actief gebruik betaal je voor de rekenkracht (~$2,25/uur, gefactureerd per seconde).
Is de API compatibel met mijn apps?
Ja! De inference engine biedt een OpenAI-compatibele /v1/chat/completions endpoint.
Hoe gaat het systeem om met meerdere gebruikers?
Het systeem is zeer elastisch. Google schaalt automatisch naar meerdere GPU-instances tijdens piekbelasting en schakelt ze uit wanneer het verkeer afneemt.
