Ik implementeer een private lokale llm-stack met docker

J
jeancamlap
J
jeancamlap
Jeancam L.
Sommige informatie is automatisch vertaald.
deploy a private local llm stack with docker
Volledig scherm
deploy a private local llm stack with docker

Over deze dienst

Automatische vertaling

Heb je AI-mogelijkheden nodig zonder dat je elke prompt of document naar een derde partij hoeft te sturen?


Ik ben een Franse AI- en Python-engineer. Ik ontwerp en implementeer private LLM-stacks voor lokale, on-premise, hybride en cloudomgevingen. Het doel is niet alleen om een paar containers te installeren; het is om je een betrouwbaar systeem te bieden dat past bij je hardware, privacybehoeften en verwachte workload.


Je stack kan onder andere omvatten:


- OpenWebUI, Ollama of vLLM

- Dockerized services en OpenAI-compatibele APIs

- Private RAG en vector search

- PostgreSQL of pgvector

- Authenticatie, HTTPS en reverse proxy setup

- LiteLLM routing tussen lokale en cloud modellen

- Usage tracking, teambudgetten en kostenoverzicht


Ik help je bij het kiezen van modellen die passen bij je CPU, RAM of GPU in plaats van onrealistische prestaties te beloven. De levering omvat de afgesproken configuratie, documentatie en een duidelijke overdracht.


Stuur me een bericht voordat je bestelt met je hardware en gebruikersaantal, zodat ik de beste architectuur en pakket kan bevestigen.

  • AI engine

    • GPT
    • DeepSeek
    • Llama

  • Programmeertaal

    • Python

Maak kennis met Jeancam L.

Jeancam L.
5,0(7)
  • Afkomstig uitFrankrijk
  • Lid sindsaug 2021
  • Laatste levering3 jaar

  • Talen

    Frans, Engels
Graduated from engineering school ESISAR in Valence, France, I have a lot of knowledge in various programming languages: Java, python, c. I have acquired a deep expertise in Selenium testing and web scraping. I am familiar with web languages (js, css, html), the WordPress and Shopify CMS that I use for my personal projects and the Spring framework.

Automatische vertaling

Gerelateerde tags