Ik bouw, repareer of optimaliseer je python etl data pipeline
Senior Data Engineer en AI Product Engineer
Over deze dienst
Heb je een data pipeline nodig die gebouwd, gerepareerd of verbeterd moet worden?
Ik ben een Senior Data Engineer met ervaring in het leveren van productie data systemen in de bankwereld, bouwsector en startups, inclusief data transformatie werk aan de UBSCredit Suisse integratie.
Ik kan je helpen:
ETL/ELT pipelines bouwen vanuit APIs, databases of bestanden
Huidige Python, SQL of PySpark pipelines debuggen en verbeteren
APIs integreren met databases, data lakes of warehouses
Workflows bouwen in Databricks, Azure Data Factory of Airflow
Validatie, data quality checks en testen toevoegen
Trage of dure data verwerking verbeteren
Je pipeline documenteren zodat deze makkelijk te onderhouden is
Ik werk met Python, SQL, Databricks, PySpark, Delta Lake, Azure Data Factory, Airflow, PostgreSQL, SQL Server en Azure data platforms.
Elk project is anders, dus voor alles behalve een kleine fix, stuur me eerst een bericht voordat je bestelt. Ik help je de scope te bepalen en de eenvoudigste oplossing aan te bevelen.
Mijn portfolio
Veelgestelde vragen
Automatische vertaling
A Wat heb je van mij nodig voordat je begint?
Een beschrijving van het probleem, je huidige data bronnen en bestemming, en relevante code, schema’s of API documentatie. Voor grotere projecten, stuur me eerst een bericht zodat we de scope kunnen afspreken.
Kun je een bestaande pipeline repareren in plaats van een nieuwe bouwen?
Ja. Ik kan Python, SQL, PySpark, Databricks, Azure Data Factory en gerelateerde ETL pipelines troubleshooten, de oorzaak van een probleem achterhalen en een oplossing implementeren.
Met welke data bronnen werk je?
Ik werk met REST APIs, SQL databases, PostgreSQL, SQL Server, bestanden zoals CSV/JSON/Parquet, data lakes en andere veelgebruikte bronnen. Stuur me een bericht als je een minder gangbaar systeem hebt.
Kun je een trage of dure pipeline optimaliseren?
Ja. Ik kan de architectuur en code bekijken, knelpunten identificeren en verbeteringen doorvoeren in onder andere transformaties, Spark verwerking, data layout, parallelisme en onnodige berekeningen.
Kun je werken met Databricks en Azure?
Ja. Databricks en Azure data engineering zijn kerngebieden van mijn professionele ervaring, inclusief PySpark, Delta Lake, Azure Data Factory, ADLS en SQL-platforms.
Moet ik contact met u opnemen voordat ik bestel?
Voor het Basic pakket kan een duidelijk afgebakende kleine taak meestal direct worden besteld. Voor Standard, Premium of alles waar de scope onzeker is, stuur me eerst een bericht.
