Ik quantiseer je ai-model

Worden je cloud GPU-rekeningen te hoog, of is je fijn-afgestelde model te zwaar om op edge hardware te draaien?

Ik ben een systems engineer in machine learning, gespecialiseerd in low-bit quantisatie, inference-optimalisatie en edge deployment. Ik neem grote taal-, visie- en mixture-of-experts (MoE) modellen en verklein hun geheugenfootprint met 50% tot 80% zonder de nauwkeurigheid te schaden.

Of je nu een 70B-model op consumentengpu's wilt passen, een 7B-model dat draait op een Apple Silicon Mac/iPhone, of een calibrated GGUF-bestand voor lokale bedrijfsconformiteit, ik bouw de exacte runtime pipeline die jij nodig hebt.

Waar ik in gespecialiseerd ben:

* Formaten & Runtimes: GGUF (llama.cpp), MLX (Apple Silicon Mac/iOS), EXL2, AWQ, GPTQ, bitsandbytes (NF4/FP8).

* Modelarchitecturen: Llama 3, Qwen 2.5 / 3.8, Mistral, Gemma, MoE-modellen (OLMoE, Mixtral), en Vision-Language Models (VLMs).

* Doelhardware: Enkele NVIDIA GPU's (L4, A10, RTX 4090), Apple Silicon (M-serie, unified memory, iOS), en CPU inference.

* Nauwkeurigheid & kwaliteit: Geavanceerde calibratie (imatrix), activatie-gevoelige quantisatie, en deterministische kwaliteitscontrole (Perplexity & downstream evals).