Ik schrijf en optimaliseer pyspark ETL-pijplijnen voor je data workflows

Ben je op zoek naar een betrouwbare PySpark Data Engineer om je ETL-pijplijnen te bouwen of te optimaliseren?

Je bent op de juiste plek.

Ik ben Pankaj, een Data Engineer met meer dan 3 jaar ervaring bij Paytm, waar ik meer dan 200+ productie ETL-pijplijnen heb gebouwd die meer dan 5 TB/dag verwerken met behulp van PySpark, Airflow, AWS en Kafka.

Deze dienst richt zich 100% op het leveren van snelle, schaalbare en schone PySpark ETL-oplossingen voor jouw bedrijf.

Wat ik voor je kan doen

• Schrijf schone en geoptimaliseerde PySpark ETL-code
• Build end-to-end ETL-workflows (extract, transform, load)
• Zet SQL-logica om in PySpark-transformaties
• Los falende of trage PySpark-taken op
• Optimaliseer Spark-taken om runtime en EMR-kosten te verlagen
• Integreer PySpark met AWS Glue, S3, EMR, Athena
• Data cleaning, validatie en transformatie
• Debug bestaande ETL-pijplijnen

Waarom voor mij kiezen

• Productieklaar, schone code
• Sterke praktijkervaring
• Snelle communicatie en levering
• 100% focus op betrouwbaarheid en schaalbaarheid
• Praktisch inzicht in pipeline-fouten en optimalisaties

Technologieën die ik gebruik

• PySpark / Spark
• AWS Glue, S3, EMR
• SQL
• Airflow (workflow orchestratie)
• Kafka
• Python & Scala

Heb je een maatwerk behoefte?

Stuur me gerust een bericht, ik reageer snel.

Laten we iets schaalbaars bouwen.