Ik audit en optimaliseer je azure data factory en databricks data pipelines

Je pipelines draaien. Of ze goed draaien is een andere vraag. Jobs duren langer dan ze zouden moeten, kosten lopen op, reruns creëren duplicaten, en niemand kan precies zeggen welke fouten er echt toe doen.

Ik audit Azure Data Factory en Databricks pipelines en vertel je wat er kapot is, wat het kost, en wat je als eerste moet aanpakken.

Wat ik review:

Pipelines ontwerp: orkestratie, afhankelijkheden, retry en foutafhandeling

Incrementele loads: watermarking, idempotentie, late-arriving records

Spark prestaties: partitionering, shuffles, skew, cluster sizing

Delta tabellen: bestandsgrootte, OPTIMIZE/VACUUM, schema-evolutie

Kosten: clusterconfiguratie, DBU-uitgaven, inactieve tijd

Data kwaliteit: validatie, reconciliatie, logging

Je ontvangt een schriftelijk rapport met bevindingen, waarin elk probleem wordt gerankt op impact en inspanning, met specifieke herstelstappen en code-aanbevelingen. Geen generieke checklist. Een echte beoordeling van jouw omgeving.

Senior Data Engineer, meer dan 7 jaar ervaring in het bouwen van Azure data platforms voor grote klanten. Microsoft Certified: Fabric Analytics Engineer Associate (DP-600).

Ik werk ook met Synapse en Microsoft Fabric. Stuur me een bericht met je stack en aantal pipelines, en ik vertel je welk pakket het beste past.