Ik bouw een elt-pipeline met python, airflow en dbt
Data Engineer, ETL Pipelines, Python, Airflow en dbt
Over deze dienst
Is je data verspreid over verschillende bronnen zonder een betrouwbare pipeline om het te verplaatsen, schoon te maken en te leveren waar het moet zijn?
Ik bouw productieklare ETL- en ELT-pipelines met Python, Apache Airflow en dbt, geautomatiseerd, getest en gedocumenteerd zodat jouw team ze kan onderhouden zonder mij.
WAT JE KRIJGT:
- Op maat gemaakte ETL/ELT-pipeline afgestemd op jouw data bronnen
- Apache Airflow DAGs met planning en retry-logica
- dbt transformatie modellen met datakwaliteitstests
- Incremental en full-load patronen
- Git versiebeheer, gedocumenteerde codebasis
- Levering aan Snowflake, BigQuery, Redshift of Postgres
WAAROM KIES JE VOOR MIJ:
Microsoft Certified Data Engineer. Bouwt Medallion Lakehouse op Microsoft Fabric. Bedreven in Python, SQL, PySpark, Airflow, dbt, Kafka, Snowflake en BigQuery.
Elke pipeline die ik lever, draait in productie, niet alleen in een notebook.
Stuur me een bericht voordat je bestelt, zodat ik kan bevestigen dat jouw stack geschikt is.
Veelgestelde vragen
Automatische vertaling
Met welke data bronnen kan ik verbinden?
Ik kan ETL-pipelines bouwen uit REST API's, PostgreSQL, MySQL, MongoDB, platte bestanden (CSV, JSON, Parquet), Google Sheets, S3 en de meeste SaaS-platforms. Als je een specifieke bron hebt, stuur me dan een bericht voordat je bestelt.
Welke data warehouses ondersteund u?
Ik lever aan Snowflake, Google BigQuery, Amazon Redshift, PostgreSQL, Microsoft Fabric en Azure Synapse. Ik kan ook richten op Delta Lake of Apache Iceberg formaten op cloud storage.
Gebruik je Apache Airflow voor orkestratie?
Ja. Ik bouw Airflow DAGs met planning, retry-logica, waarschuwingen en afhankelijkheidsbeheer. Ik kan ook Prefect gebruiken als je een lichtere orkestratietool prefereert.
Wat is dbt en heb ik het nodig?
dbt (data build tool) verzorgt de transformatielaag in je ELT-pipeline met SQL. Het voegt datakwaliteitstests, automatische documentatie en versiebeheer toe. Ik raad het aan voor elk warehouse-gebaseerd project.
Zal de pipeline automatisch op een schema draaien?
Ja. Alle pipelines bevatten geautomatiseerde planning via Airflow of cron. Jij kiest de frequentie — hourly, daily of event-triggered — en ik configureer het dienovereenkomstig.
Heeft u documentatie?
Ja. Elke levering bevat een README, dbt automatisch gegenereerde documentatie en inline code comments. Je zult de pipeline kunnen begrijpen, uitbreiden en onderhouden zonder mij.
Kun je werken met mijn bestaande data stack?
Ja. Stuur me je huidige stack voordat je bestelt en ik bevestig de compatibiliteit. Ik heb gewerkt met AWS, GCP en Azure omgevingen en kan integreren in de meeste bestaande setups.
Behandel je real-time streaming pipelines?
Ja. Het Premium pakket bevat Apache Kafka voor real-time event-driven pipelines. Als je streaming op een kleinere schaal nodig hebt, stuur me een bericht en ik geef een offerte.
Wat heb je van mij nodig om te beginnen?
Ik heb je data bronnen, bestemming data warehouse, transformatielogica of bedrijfsregels, en toegangsinformatie nodig. Ik stuur je een checklist nadat je hebt besteld.
Is de code versiebeheer?
Ja. Alle code wordt geleverd via een Git repository met een schone commit geschiedenis. Ik volg best practices in software engineering — geen zip-bestanden met losse scripts.

