Ik implementeer lokale llms, stel ai agents in en los API-problemen op
Sri Lanka
4 bestellingen voltooid
Full Stack Developer, Linux Systeembeheerder, Automatiseringsexpert
Over deze dienst
Heb je een privé AI-dashboard nodig of heb je problemen met Local LLM API's?
Ik zet het veilig op en los de bugs op!
Ik ben gespecialiseerd in het implementeren van Local LLMs en AI Agent-platforms (zoals Hermes en Open WebUI) op Linux/GPU-servers of lokaal op je pc. Ik zorg dat je AI-modellen soepel draaien met productieklare API-eindpunten.
Wat ik doe:
- Local LLM setup: Ollama, vLLM of LM Studio implementeren op je Linux VPS/PC of GPU-server.
- AI dashboards: Open WebUI, AnythingLLM of Hermes Agent instellen.
- Aangepaste modellen: Modelfiles (Llama 3, Qwen, Mistral, GLM) configureren voor jouw specifieke gebruiksdoel.
- API-beveiliging: Veilige API-sleutels genereren zodat je ontwikkelaars ze direct kunnen gebruiken.
Probleemoplossing & bugfixes:
- API-verbinding fouten, CORS-problemen en endpoint timeouts oplossen.
- GPU Out of Memory (OOM) fouten en CUDA crashes verhelpen.
- Docker container & Nginx reverse proxy bugs oplossen die AI-fouten veroorzaken.
Waarom ik?
Als Linux SysAdmin & Full-Stack Developer regel ik de complexe infrastructuur zodat jij je kunt richten op het bouwen van je AI-apps.
Let op: ik lever werkende serverinfrastructuur en API's. Ik programmeer de AI-integratie niet in jouw app.
Stuur me je servergegevens voordat je bestelt!
Tools:
Docker
Frameworks:
Npm
•
Terraform
•
Ansible
•
Overige
Programmeertaal:
Bash
•
JavaScript
•
PHP
•
Python
Expertise:
Installatie
•
Migratie
•
Configuratie
Mijn portfolio
Veelgestelde vragen
Automatische vertaling
Bied je hosting aan voor servers of GPU's?
Nee, je moet je eigen VPS, Cloud Server (AWS, DigitalOcean, RunPod) of lokale Linux-machine aanleveren. Ik verzorg de software setup en deployment.
Wat zijn de serververeisten om een Local LLM te draaien?
Voor basis 8B-modellen (zoals Llama 3) heb je minimaal 8GB-16GB RAM nodig. Een server met een dedicated NVIDIA GPU wordt sterk aanbevolen voor acceptabele generatiesnelheden.
Ik heb al een AI-setup, maar die crasht steeds. Kun je dat oplossen?
Ja! Ik ben gespecialiseerd in het oplossen van Docker container problemen, GPU OOM (Out of Memory) crashes en API timeout errors. Stuur me gewoon de foutlogs!
Blijft mijn data privé en veilig met deze setup?
100% ja. Alles wordt lokaal op je server geïmplementeerd. Je prompts en gevoelige data worden nooit naar OpenAI of andere third-party API's gestuurd.
