Ik zet een privé zelfgehoste ai-server op met open source modellen
Over deze dienst
Automatische vertaling
Als je je zorgen maakt over het versturen van je bedrijfsgegevens naar OpenAI, Google of andere third-party AI-aanbieders, zet ik een privé AI-systeem op dat volledig op jouw eigen hardware of server draait, zodat je volledige controle over de data hebt.
Wat er inbegrepen is:
- Installeren en configureren van een open-source LLM (elk model dat beschikbaar is op Hugging Face)
- Optimaliseren van de setup voor jouw hardware voor de beste snelheid
- Een ChatGPT-achtige chatinterface (Open WebUI) die jouw team meteen kan gebruiken
- Optioneel: zelfhosting van n8n en gebruik maken van dezelfde modellen om taken te automatiseren
Ik heb deze exacte setup eerder gebouwd en getest (30-35 tokens/sec op een 6-7 jaar oude laptop GPU), dus ik kan je vertellen of lokale AI aan jouw behoeften voldoet of dat een hybride aanpak meer zin heeft, voordat je iets uitgeeft.
De genoemde prijzen zijn de basis voor een single-model setup op één machine. Grotere scopes (meerdere modellen, meer geavanceerde/complexe setup, multi-user deployments) kosten meer en duren langer - stuur me een bericht met jouw setup en ik stuur je een nauwkeurige offerte voordat je bestelt.
Maak kennis met Omkar Magar
AI Engineer, Building AI Automations using open source models
- Afkomstig uitIndia
- Lid sindsaug 2026
- Gem. reactietijd1 uur
Talen
Marathi, Engels, Hindi
Automatische vertaling
Mijn portfolio
Veelgestelde vragen
Automatische vertaling
Heb ik een krachtige GPU nodig?
Nee - je kunt ook een budget GPU van een paar jaar geleden gebruiken, zolang deze genoeg VRAM heeft om het model van jouw keuze te hosten. We kunnen het model zelfs offloaden naar systeem RAM of CPU, maar dat vermindert de inference-snelheid aanzienlijk. Daarom raad ik een model aan dat volledig op je GPU past voor snellere inference.
Vervangt dit ChatGPT volledig?
Hangt af van het model dat je kiest en de complexiteit van de taak. Voor eenvoudige taken zoals werken met pdf's (of andere documentformaten), tekstverwerking, enzovoort, zijn open source modellen prima. Maar voor ingewikkelde taken zoals app-ontwikkeling, grote codebase-wijzigingen, enzovoort, blijven flagship modellen veel beter.

