Ik bouw en optimaliseer grootschalige apache spark data pipelines

Expert Apache Spark optimalisatie & Data pipeline architectuur

Horen je Spark jobs niet meer, met Out-of-Memory (OOM) fouten, timeouts bij broadcasts, of kosten ze te veel in cloud computing?

Ik ben een senior Data Engineer met meer dan 8 jaar ervaring in het bouwen, troubleshooten en optimaliseren van grootschalige gedistribueerde data pipelines. Ik specialiseer me in het verwerken van workloads van meerdere terabytes en het oplossen van complexe Big Data knelpunten met Apache Spark, Scala, PySpark, Hadoop en Hive.

Wat ik voor jou kan doen:

• Spark performance tuning: Verhelp data skew, optimaliseer dure joins en pas geheugenallocatie aan om job failures te stoppen en de uitvoeringstijd drastisch te verkorten.
• ETL pipeline ontwikkeling: Ontwerp en bouw robuuste, schaalbare en fouttolerante data-inname pipelines vanaf nul met de beste praktijken voor partitionering en opslag.
• Productie debugging: Duik diep in lineage, shuffles en cluster resource gebruik om stille performance killers in je bestaande code te fixen.
• Core tech stack: Apache Spark, Scala, Python/PySpark, Hadoop, Hive, SQL en cloud platforms (AWS).

Of je nu snel een diagnose wilt voor een mislukte query of een end-to-end enterprise data architectuur, ik help je graag verder.