Ik bouw schaalbare etl-pijplijnen met spark

Professionele Data Engineering Diensten | ETL Pijplijnen | AWS | Databricks

Wil je schaalbare, betrouwbare data pipelines voor jouw bedrijf bouwen?

Ik ben een Data Engineer met meer dan 6 jaar ervaring in het ontwerpen en optimaliseren van ETL-pijplijnen met moderne cloud- en big data-technologieën.

Wat ik voor jou kan doen:

• Ontwikkel end-to-end ETL-pijplijnen (Extract, Transform, Load)
• Ontwikkel PySpark / Spark jobs voor grootschalige data verwerking
• Ontwerp data lakes op AWS S3
• Maak workflows met behulp van Apache Airflow
• Implementeer Databricks oplossingen voor analytics en ML
• Optimaliseer pijplijnen voor prestaties en kostenbesparing
• Integreer data van API's, databases en bestanden (CSV, JSON, Parquet)

️ Tech Stack:

• AWS: S3, Glue, IAM, CloudWatch
• Databricks
• Apache Spark / PySpark
• Apache Airflow
• Python / SQL

Waarom voor mij kiezen?

• Ontwikkeld pijplijnen die multi-terabyte datasets verwerken
• Sterke focus op prestatieoptimalisatie
• Schone, onderhoudbare, productieklare code
• Snelle communicatie & betrouwbare levering

Voorbeeldgebruik:

• Data warehouse pijplijnen
• Data lake architectuur
• Batch- en geplande workflows
• Data schoonmaak en transformatie
• API naar S3 ingestiepijplijnen