Ik bouw een python ETL-pipeline voor jouw data
Over deze dienst
Heb je scripts die werken maar handmatig worden uitgevoerd of zonder goede planning?
Ik zet je bestaande data workflow om in productieklare
orchestratie.
Wat je krijgt:
- Apache Airflow DAGs om je bestaande scripts te plannen en te monitoren
- Correcte foutafhandeling en retry-logica
- Optioneel: dbt-modellen om ad-hoc SQL-transformaties te vervangen door
geteste, versiebeheerde modellen
- Optioneel: data quality tests en source freshness checks
Dit is hetzelfde orchestratiepatroon dat ik gebruikte om een batch van meer dan 1 miljard rijen
betrouwbaar uit te voeren, opgeschaald om bij je bestaande codebase te passen, niet
van scratch opnieuw opgebouwd.
Deel je huidige scripts/repo-structuur in de requirements zodat ik
precies kan inschatten voordat ik begin.
Tools & platforms:
AWS Glue DataBrew
•
Kafka Connect
•
Overige
Mijn portfolio
Veelgestelde vragen
Automatische vertaling
Moet ik mijn scripts herschrijven?
Nee — ik werk met wat je hebt en zet het in orchestratie, minimale wijzigingen aan je bestaande logica.
Heb je mijn scripts nodig voordat ik bestel?
Niet verplicht, maar het delen ervan (of een beschrijving van je setup) helpt me om een nauwkeurige offerte te maken en verrassingen te voorkomen.
Kun je migreren van cron jobs naar Airflow?
Ja, dit is een veelgevraagde dienst en past hier goed bij.
