Ik bouw een python ETL-pipeline voor jouw data

Sommige informatie is automatisch vertaald.

India

Ik spreek Bengaals, Engels, Hindi

Data Engineer en Python Developer

Data Engineer die geautomatiseerde, productieklare pipelines bouwt van ingestie tot analytics-waardige warehouses. Gebouwd: een batch pipeline van meer dan 1 miljard rijen (Airflow, S3, Snowpipe, dbt...
Over deze dienst

Heb je scripts die werken maar handmatig worden uitgevoerd of zonder goede planning?

Ik zet je bestaande data workflow om in productieklare

orchestratie.


Wat je krijgt:

- Apache Airflow DAGs om je bestaande scripts te plannen en te monitoren

- Correcte foutafhandeling en retry-logica

- Optioneel: dbt-modellen om ad-hoc SQL-transformaties te vervangen door

 geteste, versiebeheerde modellen

- Optioneel: data quality tests en source freshness checks


Dit is hetzelfde orchestratiepatroon dat ik gebruikte om een batch van meer dan 1 miljard rijen

betrouwbaar uit te voeren, opgeschaald om bij je bestaande codebase te passen, niet

van scratch opnieuw opgebouwd.


Deel je huidige scripts/repo-structuur in de requirements zodat ik

precies kan inschatten voordat ik begin.

Bestemmingsplatform:

Snowflake

•

Google BigQuery

•

PostgreSQL

•

MySQL

Tools & platforms:

AWS Glue DataBrew

•

Kafka Connect

•

Overige

Mijn portfolio