Ik bouw productieklare data pipelines met apache spark en kafka

Ik bouw data pipelines die bestand zijn tegen de productieomgeving, niet alleen op een happy path.

Twintig jaar ervaring in bankieren en financiële diensten betekent dat ik het grootste deel van mijn tijd heb besteed aan de minder glamoureuze onderdelen: dubbele records, data die te laat aankomt, schemawijzigingen die alles downstream breken, en jobs die veilig opnieuw kunnen worden uitgevoerd. Dat is het verschil tussen een pipeline die werkt in een demo en eentje die je gewoon kunt laten draaien.

Waar ik mee werk: Apache Spark, Kafka, Avro, Apache Iceberg, PostgreSQL, Java, Python, op GCP en Kubernetes.

Typische opdrachten die ik aanneem:

• Batch- of streaming ETL van bron systemen naar een data warehouse of lake
• Fragiele scripts omzetten in goede Spark jobs
• Kafka consumers en producers met verstandige fout- en retry-afhandeling
• Pipeline's repareren die traag, instabiel zijn of data stilletjes laten verdwijnen

Ik leg uit wat ik doe in gewoon Nederlands, en ik vertel je eerlijk of jouw probleem een eenvoudigere oplossing nodig heeft dan degene die je hebt gevraagd.

Stuur me een bericht voordat je bestelt met je data bronnen en een ruwe volume schatting, dan vertel ik je welk pakket het beste past of dat ik de verkeerde persoon voor de klus ben.