Ik zet een private lokale llm op je eigen machine op met ollama

Jouw data blijft op jouw hardware. Dat is het hele punt.

Ik installeer en configureer een lokale LLM-stack op jouw machine of server Ollama, plus een web UI die je daadwerkelijk kunt gebruiken. Modellen worden gekozen op basis van de RAM en GPU die jij hebt, niet voor een benchmarkgrafiek. Geen API-sleutels, geen maandelijkse kosten, geen prompts die je netwerk verlaten.

Waar dit meestal voorkomt: een advocaat die geen klantbestanden in een cloud chat kan plakken. Een kliniek met patiëntnotities. Een winkel met eigen prijslijsten. Iedereen die een cloud-model heeft geprobeerd, de voorwaarden heeft gelezen en gestopt is.

Wat je krijgt:

• Ollama geïnstalleerd en als service draaiend, zodat het een reboot overleeft
• Open WebUI boven een normaal chatvenster in je browser, geen terminal nodig voor dagelijks gebruik
• Modellen gekozen en gedownload voor jouw daadwerkelijke hardware, met een korte uitleg over waar elk model goed in is
• Een éénpagina gids: hoe je het opstart, hoe je een model toevoegt, wat te doen als het stopt

Werkt op Linux, Windows of een VPS. Ik draai al sinds 1999 Linux-servers en houd mijn eigen projecten zelf gehost, dus dit is de setup die ik zelf gebruik.

NIET inbegrepen: finetunen of trainen van je eigen model, hardware kopen voor jou, RAG over je documentarchief, koppelen aan je CRM of website. Laat het me weten als je dat wilt en ik help je verder.