Ik bouw geautomatiseerde ETL-pijplijnen met Apache Airflow die data consolideren

Sommige informatie is automatisch vertaald.

India

Ik spreek Engels

data scientist

Ik ben Senthil, een ETL Pipeline & Machine Learning Engineer met 1 jaar ervaring, gespecialiseerd in Apache Airflow en Python. Ik bouw schaalbare, productieklare ETL pipelines die data-extractie, prep...
Over deze dienst

Ik bouw productieklare ETL (Extract, Transform, Load) pijplijnen met Apache Airflow om je data workflow te automatiseren en data van meerdere bronnen te consolideren in je cloud warehouse.


WAT JE KRIJGT


Apache Airflow setup & configuratie

- Klaar voor productie DAGs

- Jobplanning en automatisering

- Foutafhandeling en retry-logica


Data source integratie

- Verbinding maken met elke API of database

- Ondersteuning: Shopify, Stripe, HubSpot, Google Analytics, etc.

- Aangepaste connectors indien nodig


Data transformaties

- Raw data schoonmaken en valideren

- dbt data modellering

- Implementatie van bedrijfslogica


Cloud warehouse setup

- BigQuery, Snowflake of Redshift

- Geoptimaliseerde schema's

- Partitioneringsstrategieën


Data kwaliteit & validatie

- Geautomatiseerde kwaliteitscontroles

- Anomaliedetectie

- Slack/E-mail meldingen


Documentatie & ondersteuning

- Architectuurdiagrammen

- Setup-instructies

- Ondersteuning na levering

Bestemmingsplatform:

PostgreSQL

MySQL

Microsoft SQL Server

Tools & platforms:

Overige