Ik ontwikkel end-to-end data pipelines met big data technologie

Wil je schaalbare, veilige en privacy-conforme data pipelines bouwen? Je bent op de juiste plek.

Ik ben een senior data engineer met diepe expertise in het ontwerpen en implementeren van robuuste, cloud-native pipelines voor de gezondheidszorg, fintech en andere gereguleerde industrieën. Ik ben gespecialiseerd in het bouwen van moderne lakehouse-architecturen die prestaties, governance en compliance combineren met behulp van de nieuwste open-source en AWS-technologieën.

Wat ik aanbied:

• End-to-end data pipeline ontwikkeling (Kafka PySpark Iceberg S3/Data Lake)
• Ondersteuning voor Avro, Parquet en geneste schema's
• Schema-evolutie, metadata management en data lineage tracking
• Data kwaliteit controles en unit tests met PySpark of Great Expectations

Tools & Technologieën

• Compute: PySpark, Apache Spark, Databricks
• Opslag & Modellering: Apache Iceberg, AWS S3, Glue Catalog
• Streaming & Ingestion: Kafka, Avro, JSON
• Security & Compliance: AWS Lake Formation, GDPR, HIPAA
• CI/CD: Git
• Database: Oracle, Postgres, Snowflake
• Orchestration: Airflow, Autosys

Weet je nog niet precies wat je nodig hebt? Ik kan beginnen met een gedetailleerde audit of architectuur review, of direct aan de slag gaan met het bouwen van een maatwerk pipeline op basis van jouw data bronnen en doelen.