Ik bouw ETL-pijplijnen op databricks met spark

Hoi, ik ben een Data Engineering Consultant met meer dan 5 jaar ervaring in het bouwen van productie data pipelines op Databricks.

Ik heb echte Databricks workloads ontworpen in productie, waaronder een Customer Data Platform dat grote datasets verwerkt met PySpark, Delta Live Tables en medallion architectuur. Ik werk dagelijks op Databricks, niet alleen als een modewoord.

Wat ik voor jou maak:

• End-to-end ETL-pijplijnen (batch of streaming)
• Bronze Silver Gold medallion architectuur
• Delta Lake met ACID, schema-evolutie, time travel
• Geoptimaliseerde PySpark transformaties
• Ingestie van APIs, SQL Server, MySQL, Postgres, ADLS, S3, GCS, CSV, JSON, Parquet
• Incrementele loads met MERGE INTO en CDC
• Autoloader, taakplanning, workflow orchestratie
• Schoon, modulair, versiebeheer code

Waarom met mij werken:

• Werkervaring in productie, geen tutorials
• 5 jaar ervaring met Databricks, Fabric, dbt, BigQuery, Synapse
• Parameteriseerbare, testbare, herbruikbare code
• Documentatie bij elke levering
• Vloeiend Engels en gedetailleerde updates

Tech stack:

• Databricks
• PySpark
• Delta Lake
• DLT
• Unity Catalog
• ADLS
• S3
• SQL Server
• Python
• Git

Voor je bestelt:

Stuur me een bericht met je volledige wensen.