Ik bouw AWS data pipelines en etl met python, airflow en dbt
Lead Data en AI Engineer, AWS Pipelines, LLM en RAG apps
Over deze dienst
Data pipelines zijn makkelijk te bouwen en moeilijk om draaiende te houden. Ik bouw de soort die schemawijzigingen, late bestanden en maandagochtenden overleven.
Ik ben een Lead Data en AI Engineer met meer dan 9 jaar ervaring. Ik heb dataplatforms gebouwd bij Amazon, Delivery Hero, Goldman Sachs en Orion, en ik heb 13 cloud-certificeringen, waaronder AWS Data Engineer Associate en AWS Solutions Architect.
WAT IK VOOR JOU BOUW
Inname van API's, databases, S3, SaaS-tools en event streams
Orkestratie in Airflow, Dagster of AWS Step Functions
Transformaties als dbt-modellen met tests en documentatie
Incrementele loads, backfills en reruns die veilig te herhalen zijn
Data kwaliteit controles en alerts, zodat fouten jou bereiken en niet je klanten
Infrastructuur als code in Terraform, met CI/CD
STACK
Python, SQL, Airflow, dbt, AWS Glue, Spark, Kafka, Snowflake, Redshift, BigQuery, Terraform
WAT JE KRIJGT
Gedocumenteerde code in je eigen repository, een runbook en een overdrachtgesprek.
Vertel me je bronnen, je volumes en hoe vers de data moet zijn, en ik vertel je eerlijk wat het kost.
Expertise:
Big data
•
Datastroom
•
Data validatie
•
etl
•
Transformatie
•
SQL

