Ik bouw ETL-pijplijnen en databricks data engineering oplossingen

Data Engineer met meer dan 3 jaar praktische ervaring in het bouwen van productieklare pijplijnen op Azure.

Ik ben gespecialiseerd in het ontwerpen en implementeren van schaalbare data-workflows met Azure Data Factory, Databricks, PySpark en Delta Lake, van ruwe invoer tot analytics-klare Gold-layer datamodellen.

Wat ik voor jou kan bouwen:

Metadata-gedreven ETL/ELT-pijplijnen in Azure Data Factory

Medallion-architectuur (Bronze Zilver Goud) in Databricks

Realtime streaming pijplijnen met Azure Event Hubs (Kafka-compatibel)

Star schema / dimensionale datawarehouse-ontwerp

SCD Type 1 & Type 2 change tracking met Databricks autoCDC

Complexe SQL-, PySpark-transformaties en stored procedures

REST/SOAP API-integraties met Postman-testen

Unity Catalog setup en data governance

Technische stack:

Python · PySpark · SQL · Azure Data Factory · Azure Databricks · Azure Data Lake Gen2 · Delta Lake · Unity Catalog · Event Hubs · Power BI

Hoogtepunten uit het verleden:

Pijplijnen voor publish layer op Oracle

API-efficiëntie met 50% verbeterd door directe backend-verwerking

Spark-uitvoertijd met 30% verminderd door optimalisatie van partitionering

End-to-end real-time analytics platform voor ride-hailing op Azure gebouwd