Ik bouw data engineering oplossingen met Azure
Web scraper en Data Engineer
Niveau 2
Voldoet aan hoge prestatiecriteria en heeft een bewezen staat van dienst in het voldoen aan de verwachtingen van de klant.
Over deze dienst
Ben je op zoek naar een data engineer om betrouwbare ETL-pijplijnen op Azure te bouwen? Ik ontwerp en implementeer end-to-end data oplossingen met behulp van Azure Data Factory (ADF), Azure Databricks en Medallion Architecture om je data efficiënt te verzamelen, transformeren en beheren.
Diensten die ik aanbied:
- Data Ingestion: APIs, CSV, Excel, databases, cloud storage
- Data Transformatie: Databricks (PySpark/SQL), ADF Data Flows (filteren, samenvoegen, selecteren, afgeleide kolom, rij aanpassen, joins)
- ETL-pijplijnen met Medallion Architecture (Bronze, Silver, Gold)
- ADF Activiteiten: Data kopiëren, ForEach, Lookup, Web, Stored Procedures
- Planning & triggers: Tijdgebaseerd, opslaggebaseerd en gebeurtenisgestuurd
Waarom ik?
- Sterke expertise in ADF & Azure Databricks
- Geoptimaliseerde, schaalbare ETL-pijplijnen
Tools & platforms:
Azure Data Factory
•
Overige
Mijn portfolio
Veelgestelde vragen
Automatische vertaling
Wat heb je van mij nodig om te beginnen?
Ik heb toegang nodig tot je Azure-abonnement (of een speciale resourcegroep), details over je data bronnen (API's, databases, bestanden, enz.), en je wensen voor transformaties en opslag.
Kun je zowel eenvoudige als complexe ETL-pijplijnen opzetten?
Ja! Ik bouw alles van een basis ADF-pijplijn met geplande triggers tot geavanceerde Azure Databricks ETL-workflows met Medallion Architecture (Bronze, Silver, Gold).
Behandel je ook data transformaties?
Absoluut. Ik gebruik ADF Data Flows (filteren, samenvoegen, joins, afgeleide kolommen, rij aanpassen, enz.) en Databricks (PySpark/SQL) voor aangepaste transformaties.
Kun je integreren met mijn bestaande databases of API's?
Ja. Ik kan data verzamelen uit API's, CSV, Excel, SQL-databases en cloud storage in Azure, zodat alles soepel samenwerkt met je bestaande systemen.
