Ik bouw AWS data pipelines en etl met python, airflow en dbt

Sommige informatie is automatisch vertaald.

Duitsland

Ik spreek Engels, Urdu, Duits

Lead Data en AI Engineer, AWS Pipelines, LLM en RAG apps

Ik bouw productie data platforms en GenAI applicaties. Meer dan 9 jaar leiding gegeven aan data- en ML-engineering bij Orion, Delivery Hero, Amazon en Goldman Sachs. Wat ik doe: - Data pipelines en w...
Over deze dienst

Data pipelines zijn makkelijk te bouwen en moeilijk om draaiende te houden. Ik bouw de soort die schemawijzigingen, late bestanden en maandagochtenden overleven.


Ik ben een Lead Data en AI Engineer met meer dan 9 jaar ervaring. Ik heb dataplatforms gebouwd bij Amazon, Delivery Hero, Goldman Sachs en Orion, en ik heb 13 cloud-certificeringen, waaronder AWS Data Engineer Associate en AWS Solutions Architect.


WAT IK VOOR JOU BOUW

Inname van API's, databases, S3, SaaS-tools en event streams

Orkestratie in Airflow, Dagster of AWS Step Functions

Transformaties als dbt-modellen met tests en documentatie

Incrementele loads, backfills en reruns die veilig te herhalen zijn

Data kwaliteit controles en alerts, zodat fouten jou bereiken en niet je klanten

Infrastructuur als code in Terraform, met CI/CD


STACK

Python, SQL, Airflow, dbt, AWS Glue, Spark, Kafka, Snowflake, Redshift, BigQuery, Terraform


WAT JE KRIJGT

Gedocumenteerde code in je eigen repository, een runbook en een overdrachtgesprek.


Vertel me je bronnen, je volumes en hoe vers de data moet zijn, en ik vertel je eerlijk wat het kost.

Expertise:

Big data

Datastroom

Data validatie

etl

Transformatie

SQL

Technologie:

Amazon Redshift

apache vonk

Python

SQL

Snowflake

Mijn portfolio