Ik zet een private self-hosted llm op jouw server op met ollama, vllm, open webui


Level 1
Gescreend door Fiverr Pro
Junaid Aslam is geselecteerd door het team van Fiverr Pro vanwege diens expertise.
Over deze dienst
Automatische vertaling
Stuur me alsjeblieft een bericht om de vereisten te bespreken voordat je bestelt.
Wil je een AI-assistent die jouw data op jouw eigen server houdt? Ik zet een private LLM op jouw VPS of GPU-server op. Geen prompt of document gaat naar een derde partij.
Wat ik opzet
- Ollama of vLLM die een open model serveert: Llama 3, Mistral, DeepSeek, Qwen, Gemma, of elk Hugging Face-model
- Open WebUI als chat-scherm, met gebruikersaccounts en rollen
- Een OpenAI-compatibele API, zodat jouw apps zo kunnen bellen als OpenAI
- Optionele RAG op jouw PDFs en documenten, met pgvector of Qdrant
- Docker Compose-setup, Nginx, HTTPS, en een geschreven overdrachtshandboek
Waar het draait
Elke Linux-server: jouw VPS, on-premises machine, AWS, Azure, Google Cloud, of een gehuurde GPU op RunPod. GPUs: NVIDIA H100, A100, L40S, RTX 4090. Ik noem eerst de maandelijkse kosten.
Data-locatie
Ik kan hosten in de EU, UK, VS of elk land of regio naar keuze. Dit ondersteunt data residency-regels zoals GDPR, UK GDPR en CCPA.
Wat ik niet doe
Ik finetune of quantize modellen niet. Ik zet bestaande open modellen in.
Maak kennis met Junaid Aslam
ASP Dot NET Core, Web API, React, JS, TS, SQL, NoSQL, AWS, Azure, AI Chatbot RAG
Level 1
Junaid Aslam maakt deel uit van de Fiverr Pro-catalogus en is zorgvuldig uitgekozen door het Fiverr Pro-team vanwege zijn of haar vaardigheden en expertise.
Gescreend voor
Software development
- Afkomstig uitPakistan
- Lid sindssep 2015
- Gem. reactietijd1 uur
- Laatste levering1 maand
Talen
Urdu, Engels
Automatische vertaling
Mijn portfolio
Andere AI-development diensten die ik aanbied
Veelgestelde vragen
Automatische vertaling
Heb ik mijn eigen server of GPU nodig?
Nee. Ik kan het op een VPS, jouw cloudaccount of een gehuurde GPU op RunPod opzetten. Ik noem de grootte en maandelijkse kosten voordat ik begin. Jij betaalt rechtstreeks aan de provider.
Welke servers en GPUs kun je gebruiken?
Elke Linux-server met SSH-toegang: AWS, Azure, Google Cloud, RunPod, of jouw eigen hardware. GPUs: NVIDIA H100, A100, L40S en RTX 4090.
Welke open LLMs kun je draaien?
Llama 3, Mistral, DeepSeek, Qwen en Gemma, in de maten die jouw hardware ondersteunt. Ik help je de beste model te kiezen voor jouw gebruik
Is mijn data privé?
Ja. Het model draait op jouw server. Geen prompt of document gaat naar een externe AI-dienst tenzij jij mij vraagt er eentje te koppelen.
Ollama of vLLM, welke heb ik nodig?
Ollama is eenvoudig en geschikt voor kleine teams. vLLM is sneller bij veel gebruikers op een GPU. Ik raad er één aan nadat je mij het aantal gebruikers vertelt.
Kan mijn app het aanroepen als de OpenAI API?
Ja. Zowel Ollama als vLLM bieden een OpenAI-compatibele API. Jouw apps veranderen alleen de basis-URL en de modelnaam.
Kan het antwoorden uit mijn eigen documenten (RAG)?
Ja, in het Premium-pakket. Ik voeg RAG toe aan jouw PDFs en bestanden met pgvector of Qdrant.
Kun je hosten in de EU, UK of VS voor GDPR?
Ik kan hosten in de regio die jij kiest. Dit ondersteunt data residency-regels zoals GDPR, UK GDPR en CCPA. Ik geef geen juridisch advies of certificering van naleving.
Finetune of quantize je modellen?
Nee. Ik zet bestaande open modellen in en koppel ze. Ik train of finetune ze niet.
