Ik bouw schaalbare data pipelines met dagster, AWS, postgresql en redshift

Ben je op zoek naar een betrouwbare Data Engineer om schaalbare, productieklare data pipelines te bouwen?

Ik ben gespecialiseerd in het bouwen van moderne data platforms met behulp van:

• Dagster (workflow orchestratie & asset-gebaseerde pipelines)
• PostgreSQL (bron- & metadata database)
• Amazon S3 (data lake opslag)
• Amazon Redshift (analytics warehouse)
• Python (ETL/ELT ontwikkeling)

Wat ik voor jou kan doen

Build end-to-end ETL/ELT pipelines

Ontwerp Dagster assets & jobs

Laad data uit APIs / DBs S3 Redshift

Implementeer incremental pipelines (CDC, watermarking)

Optimaliseer prestaties voor miljoenen records

Behandel schema-evolutie & data validatie

Stel data partitionering in (dagelijks/uur)

Creëer S3-gebaseerde data lake architectuur

Debug & los bestaande pipelines op

Mijn expertise omvat

• Dagster multi-asset pipelines
• Migratie van PostgreSQL naar Redshift
• S3 Parquet partitionering
• Incrementele loads (geen duplicaten)
• Inname van grote hoeveelheden data (miljoenen rijen)
• Data kwaliteit & validatie
• Unit & integratietesten
• Foutafhandeling & retries

Productieklare aanpak

Ik volg industry best practices:

• Modulaire code structuur
• Logging & monitoring
• Retry & foutafhandeling
• Idempotente pipelines
• CI/CD-ready ontwerp