Ik bouw mengsels van experts, cot reasoning, quantization llms

De meeste mensen die "LLM-projecten" bouwen, bellen de API van OpenAI en verwerken die in een chatbot UI. Dat is geen LLM-engineering, dat is loodgieterswerk.

Ik werk onder de motorkap: architectuur, reasoning en optimalisatie. Als je iets nodig hebt dat verder gaat dan een prompt wrapper, is dit de dienst.

Wat ik daadwerkelijk bouw:

Mixture of Experts (MoE) sparse expert routing, gating networks, load-balancing losses, op maat gemaakte MoE-lagen gebouwd vanaf nul of verfijnd op bestaande architecturen

Chain-of-Thought Reasoning CoT/ToT prompting pipelines, self-consistency decoding, reasoning-distillation naar kleinere modellen, stap-verificatie en reward-guided reasoning

Quantization INT8/INT4 quantization, GPTQ, AWQ, QLoRA, GGUF conversie voor lokale/edge deployment, benchmarking van nauwkeurigheid versus snelheid voordat je een setup kiest

Ook behandeld: fine-tuning (LoRA/QLoRA), modelcompressie, inference-optimalisatie en deployment op beperkte hardware.

Waarom dit belangrijk is:

Een model dat goed reasoning doet maar niet op jouw hardware kan draaien, is nutteloos. Een gequantiseerd model dat snel is maar dom, is nog erger. Ik bouw voor de daadwerkelijke constraint die je oplost: kosten, latency, nauwkeurigheid of alle drie, niet alleen wat trending is op Twitter.