Pipelines die 's nachts falen? Rapporten die op yesterdays data draaien?
Ik bouw productie Azure Databricks pipelines die volgens schema draaien, automatisch herstellen bij fouten en een volledige audit trail bijhouden.
Ik ben een Databricks Certified Professional en Azure gecertificeerd Data Engineer met meer dan 7 jaar ervaring in verzekeringen, gezondheidszorg en financiële diensten.
Wat ik voor jou bouw:
- ETL/ELT pipelines in Azure Databricks, ADF en PySpark
- Medallion architectuur (Bronze, Silver, Gold) op Delta Lake
- Unity Catalog governance en SCD Type 2 historie tracking
- Foutmeldingen, audit logging en data reconciliation
- Planning, CI/CD en overdrachtsdocumentatie
Recente Azure Databricks projecten:
- Slide Insurance: overgestapt van dagelijkse naar uurlijkse data over meer dan 900 tabellen, met automatische foutherstel en waarschuwingen voordat slechte data Power BI bereikten
- Verto Health: gebouwd een metadata-gestuurde pipeline die nieuwe ziekenhuisgegevensbronnen toevoegt zonder codewijzigingen, met volledige auditgeschiedenis in Unity Catalog
Hoe het werkt:
- Deel je bron, bestemming en aantal tabellen
- Ik bekijk je data en bevestig de scope
- Ik bouw, test en lever een werkende pipeline op
Groter project of migratie? Stuur me een bericht voor een op maat gemaakte offerte.