Ik maak schaalbare data pipelines etl elt met python airflow spark AWS azure

Ik bouw schaalbare data pipelines ETL ELT met Python Airflow Spark AWS Azure GCP.

Met meer dan 10+ jaar ervaring in Data Engineering, AI en Data Analytics heb ik end-to-end data pipelines van scratch ontworpen en ontwikkeld voor verschillende techbedrijven. Ik heb 9 peer-reviewed publicaties (waaronder 1 bekroonde publicatie in AI), wat me diepgaande technische expertise en onderzoeksgestuurde probleemoplossingsvaardigheden geeft.

Heb je moeite met handmatige processen, onbetrouwbare data flows of schaalproblemen? Ik bouw robuuste, geautomatiseerde ETL/ELT pipelines die schone, tijdige data leveren voor analytics en AI toepassingen.

Wat je krijgt:

• End-to-end batch- en real-time data pipelines
• Orkestratie met Airflow, Prefect of Dagster
• Integratie van databases, APIs, SaaS en cloudbronnen
• Geavanceerde transformaties met Python, SQL, PySpark en dbt
• Implementatie op AWS, Azure, GCP of Databricks
• Monitoring, logging, foutafhandeling en CI/CD pipelines

Belangrijkste voordelen:

• Zeer schaalbare oplossingen die miljoenen records per dag verwerken
• Verminderde handmatige werkzaamheden, fouten en operationele kosten
• Productieklaar, goed gedocumenteerd en onderhoudsvriendelijk pipeline