Ik bouw geautomatiseerde ETL-pijplijnen met Python Airflow en SQL
Data Engineer, Python en SQL ontwikkelaar, Automation Expert
Over deze dienst
Professionele Data Engineering & Geautomatiseerde ETL-oplossingen
Ben je op zoek naar een betrouwbare manier om je data flows te automatiseren? Ik ben een Software Engineer (gespecialiseerd in Data Engineering) die zich inzet voor het bouwen van high-performance systemen die ruwe data omzetten in gestructureerde, bruikbare assets.
Wat ik aanbied:
- End-to-End ETL/ELT: Volledig geautomatiseerde pijplijnen met Apache Airflow.
- Moderne Data Lakehouse: Implementatie van Medallion Architecture (Bronze, Silver, Gold) met PostgreSQL, dbt en MinIO.
- Realtime Verwerking: Schaalbare streaming oplossingen met Apache Kafka en Spark.
- Data Integriteit: "Zero Tolerance" systemen met geautomatiseerde quarantaine zones voor beschadigde data.
- Volledige Deployment: Alles is gecontaineriseerd met Docker voor eenvoudige, één-klik setup.
Mijn Tech Stack:
- Talen: Python (Pandas, PySpark), SQL.
- Tools: Airflow, dbt, Spark, Kafka, Hadoop.
- Opslag: PostgreSQL, MySQL, Amazon S3 (MinIO).
Waarom met mij werken? Ik focus op het schrijven van schone, productieklare code en het leveren van professionele Architectuur Diagrammen voor elk project. Ik zorg dat je data nauwkeurig, snel verdeeld en klaar voor analytics is.
Stuur me een bericht om je projectvereisten te bespreken voordat je een bestelling plaatst!
Mijn portfolio
Veelgestelde vragen
Automatische vertaling
Moet ik cloudtoegang verstrekken?
Ja, om de pijplijn te implementeren heb ik toegang nodig tot je omgeving (AWS, GCP, of een privé server) of ik kan een Docker Compose bestand leveren voor lokale deployment.
Met welke databases werk je?
Ik werk voornamelijk met PostgreSQL, MySQL en S3-compatibele opslag zoals MinIO, maar ik kan me aanpassen aan Snowflake of BigQuery indien nodig.
Kunt u documentatie verstrekken?
Absoluut. Elk project bevat duidelijke README-instructies en een architectuurdiagram zodat je het systeem gemakkelijk kunt beheren.

