Ik installeer Ollama en open WebUI op een zelf gehoste VPS als een privé AI beveiligde server

Als je een chat wilt zoals ChatGPT zonder bedrijfsgegevens naar iemand te sturen, draai je het model op je eigen machine. Dat is wat deze dienst doet.

Ik installeer Ollama met de Open WebUI interface op jouw server, op jouw eigen domein met SSL, en zet gebruikersaccounts op zodat jouw team correct inlogt in plaats van één link te delen.

Wat je krijgt:

Een privé chatinterface op jouw eigen adres, modellen gedownload en klaar voor gebruik, en een server die netjes opnieuw opstart en up-to-date blijft. Bij het Standard pakket installeer ik NVIDIA drivers en CUDA als jouw server een GPU heeft, wat het verschil maakt tussen snelle antwoorden en pijnlijke wachttijden.

Ik ben eerlijk over de hardware voordat je geld uitgeeft. Kleine modellen draaien acceptabel op CPU. Alles in de 30B-range heeft een echte GPU nodig. Stuur me je server specificaties en ik vertel je wat er echt op draait, in plaats van je een pakket te verkopen dat teleurstelt.

Advanced voegt een API endpoint toe dat je eigen apps kunnen gebruiken, en document upload zodat je vragen kunt stellen over je eigen bestanden.

Stuur me eerst een bericht met je specificaties als je het niet zeker weet.