Ik bouw ETL data pipelines met Python, SQL, Spark, Azure en Palantir Foundry
Data engineer, Palantir Foundry, Spark, Azure en Python
Over deze dienst
Ik ontwerp, bouw en verbeter betrouwbare data pipelines voor analytics, rapportage en operationele toepassingen.
Ik kan helpen met:
ETL- en ELT-pipeline ontwikkeling
Python, SQL, Spark en PySpark transformaties
Azure en Databricks data workflows
Palantir Foundry pipelines, datamodellering en ontologie werkzaamheden
API en bestandgebaseerde data-inname
Data validatie, transformatie en kwaliteitscontroles
Pipeline debugging en prestatieoptimalisatie
Technische documentatie en onderhoudbare broncode
Power BI-geschikte datasets en rapportagelagen
Voordat je bestelt, deel alsjeblieft het zakelijke doel, bron- en doelsystemen, voorbeeldschema of data, verwachte volume en frequentie, benodigde transformaties, platformbeperkingen en leveringsverwachtingen. Ik zal de scope beoordelen en het juiste pakket aanbevelen.
Toegang tot private systemen moet worden verstrekt via veilige, goedgekeurde methoden.
Tools & platforms:
Azure Data Factory
•
Overige
Mijn portfolio
Veelgestelde vragen
Automatische vertaling
Werk je met grote datasets?
Ja. Ik kan Spark- en PySpark-transformaties ontwerpen voor grote datasets. Deel alsjeblieft het geschatte volume, de frequentie, de omgeving en de prestatie-eisen, zodat ik de scope kan bevestigen.
Kun je het ETL proces automatiseren?
Ja. Ik kan geplande ETL- of ELT-workflows automatiseren met het afgesproken platform, zoals Azure Data Factory, Databricks of Palantir Foundry, waar dat passend is.
Bevat deze dienst machine learning workflows?
Ik kan de data pipeline rondom een ML-workflow voorbereiden en automatiseren. Modelontwikkeling of MLOps moeten apart worden beoordeeld en gescopeerd op basis van de data, het platform en de deployment-behoeften.
Kun je data voorbereiden voor Power BI of rapportages?
Ja. Ik kan gevalideerde, rapportage-klare datasets en transformatielagen maken voor Power BI. Het ontwikkelen van dashboards kan worden meegenomen als dat in de scope is afgesproken.

