Ik bouw data engineering pipelines voor big data projecten
Senior Data Engineer
Over deze dienst
Ontwerp betrouwbare, schaalbare en cloud-klare data pipelines met een data engineering professional met meer dan 10 jaar ervaring.
Ik ben gespecialiseerd in het ontwikkelen van end-to-end ETL en ELT pipelines die data-inname, transformatie, validatie en laden automatiseren in cloud- en on-premises omgevingen.
Mijn diensten omvatten:
- ETL/ELT pipeline ontwikkeling
- Batch- en incrementele data verwerking
- API-, database- en bestandsintegratie
- Data opschoning en transformatie
- Data kwaliteit controles en validatie
- Data lake en data warehouse integratie
- Pipeline orchestratie, logging en foutafhandeling
- Cloud migratie en architectuurontwerp
Technologieën: Python, SQL, Pyspark, GraphDB (Neo4j), Databricks, Azure Data Factory, Azure Data Lake Storage, AWS Glue, Amazon S3, BigQuery en relationele databases.
Ik lever schone, onderhoudbare en goed gedocumenteerde oplossingen die zijn afgestemd op jouw projectvereisten.
Neem contact met mij op voordat je bestelt zodat ik jouw data bronnen, vereisten en projectcomplexiteit kan begrijpen.
Tools & platforms:
Azure Data Factory
Veelgestelde vragen
Automatische vertaling
Welke informatie heb je nodig om te starten?
Deel alsjeblieft je data bronnen, doelsysteem, voorbeeldgegevens of schema, transformatievereisten, voorkeurs technologie en verwachte resultaat
Welke soorten data bronnen ondersteun je?
Ik werk met databases, REST API's, CSV, JSON, Excel, cloudopslag en gestructureerde of semi-gestructureerde data.
Met welke technologieën en cloudplatformen werk je?
Ik werk met Python, SQL, Pyspark, Databricks, Azure Data Factory, Azure Data Lake, AWS Glue, Amazon S3, BigQuery en relationele databases.
Kun je incrementele of real-time pipelines bouwen?
Ja. Ik ontwikkel batch-, incrementele en real-time pipelines op basis van jouw datavolume, zakelijke vereisten en technologische stack.
Moet ik contact met u opnemen voordat ik een bestelling plaats?
Ja. Neem contact met mij op voordat je bestelt, zodat ik de scope, complexiteit, datavolume, benodigde integraties en levertijd kan beoordelen.
