Ik bouw een productieklare ETL data pipeline met AWS, airflow en pyspark

Sommige informatie is automatisch vertaald.
Ammad Ajaz

Pakistan

Ik spreek Engels

Data engineer, AWS, Apache Airflow, Spark, PostgreSQL, ETL

Ik ben een Data Engineer en laatstejaars Computer Science student met praktische ervaring in het bouwen van schaalbare ETL pipelines en data-architecturen. Ik heb gewerkt bij Cognetix.io aan enterpris...
Lees meer
Over deze dienst

Ben je verdrinkt in ruwe data zonder betrouwbare manier om het te verwerken?

Ik bouw productieklare data pipelines die automatisch draaien, meegroeien met je data en nooit stilletjes kapot gaan. Geen spaghetti scripts. Geen handmatige stappen. Gewoon schone, betrouwbare data precies waar je het nodig hebt.


Wat ik bouw

  • ETL pipelines met Python en PySpark voor extract, transform, load, klaar
  • Apache Airflow DAGs voor volledig geautomatiseerde, geplande workflows
  • Medallion Architecture pipelines (Bronze, Silver, Gold) met datakwaliteit op elk niveau
  • AWS data platforms S3 data lake, Glue, EMR op EKS, IAM, Terraform
  • Cloud ingestion pipelines van elke bron naar PostgreSQL, MySQL, ClickHouse of Supabase
  • Volledig gecontaineriseerde setups met Docker en Docker Compose
  • Deployments met één commando via CI/CD, geen handmatig SSH, geen runbooks
Lees meer
build a production ready etl data pipeline using AWS, airflow, and pyspark
Volledig scherm
build a production ready etl data pipeline using AWS, airflow, and pyspark
Volledig scherm
Volledig scherm
build a production ready etl data pipeline using AWS, airflow, and pysparkbuild a production ready etl data pipeline using AWS, airflow, and pysparkbuild a production ready etl data pipeline using AWS, airflow, and pyspark

Expertise:

Big data

•

Data-extractie

•

Datastroom

•

Gegevensmanipulatie

+2 meer

Technologie:

Amazon Redshift

•

Apache Kafka

•

apache vonk

•

Python

•

SQL

+1 meer

Mijn portfolio

Gerelateerde tags