Ik bouw ETL-pijplijnen, pyspark-workflows en Looker-dashboard met airflow, sql

Ik bouw op AWS (Glue, Lambda, S3, Redshift, EMR), Azure (Data Factory, Databricks, Synapse Analytics) en GCP (Cloud Composer, BigQuery, Dataflow). Ik adviseer je over het beste platform op basis van je bestaande infrastructuur, teamvaardigheden en budget — en ik geef deze aanbeveling gratis vooraf.

Apache Airflow is een workflow orchestratie tool die je data pipelines automatisch plant, monitort en herhaalt. Als je data op een regelmatig schema moet verwerken (elk uur, dagelijks, event-driven), is Airflow essentieel. Ik ontwerp productieklare Airflow DAGs met juiste retry-logica, waarschuwingen en

ETL (Extract-Transform-Load) verwerkt en schoonmaakt data voordat het in je data warehouse wordt geladen — beter voor legacy systemen en strikte datagovernance. ELT (Extract-Load-Transform) laadt ruwe data eerst en transformeert binnen het warehouse met tools zoals dbt — beter voor moderne cloud stacks zoals S

Ja. Ik ben gespecialiseerd in migratie van SQL Server, Oracle, MySQL en flat files naar cloud data warehouses zoals Snowflake, BigQuery en Redshift. Dit omvat schema ontwerp, datatypes mapping, validatietesten, incrementele load setup en historische data backfill — volledig gedocumenteerd.

Elke oplevering bevat volledige technische documentatie: diagram van pipeline architectuur, beschrijvingen van DAGs, uitleg van transformatielogica, data woordenboek, setup gids en runbook voor je team. Mijn doel is dat elke data engineer op je team de pipelines kan begrijpen en zelfstandig uitbreiden.