Ik maak, update airflow dags, end-to-end projectondersteuning in docker setup, dags
Data Engineer: dbt, BigQuery, PySpark, Python, SQL, GCP, AWS
Niveau 1
Voldoet aan bepaalde prestatiecriteria en toont een sterke potentie op de marktplaats.
Over deze dienst
Ik maak, update en optimaliseer Apache Airflow DAGs en bied end-to-end projectondersteuning. Of je nu nieuwe pipelines nodig hebt, bestaande DAGs wilt verbeteren of een volledige Airflow setup in Docker, ik help je bij het bouwen van schaalbare, efficiënte en productieklare workflows die op jouw behoeften zijn afgestemd.
Ik kan je helpen met ETL/ELT pipelines, data orchestratie, workflow automatisering, Docker-gebaseerde Airflow setup, API/database integraties en prestatie optimalisatie om ervoor te zorgen dat je pipelines sneller, soepeler en met minder fouten draaien.
Wat is inbegrepen:
- Nieuwe Airflow DAGs maken vanaf nul
- Bestaande DAGs updaten en refactoren
- Airflow in Docker opzetten met configuraties
- End-to-end ETL/ELT pipelines ontwerpen
- API's, databases en externe data bronnen integreren
- Fouten opsporen, oplossen en task failures verhelpen
- DAG prestaties optimaliseren voor snellere uitvoering
- Planning, afhankelijkheden en orkestratie instellen
- Monitoring, logging en foutafhandeling implementeren
- Doorlopende ondersteuning bieden voor schaling en onderhoud van pipelines
Stuur me gewoon een DM, en ik neem meteen contact met je op om je projectbehoeften te bespreken.
