Door categorieën bladeren
Ontdekken
Fiverr Pro
Nederlands
$
USD
Ik ontwikkel azure databricks etl data pipelines en pyspark jobs
Azure Data Engineer voor Databricks ETL Pipelines
Ik ben een gemotiveerde Software Engineering bachelor met praktische ervaring in data engineering pipelines en full-stack ontwikkeling. Ik ben bedreven in het bouwen van schaalbare ETL-processen met P...
Over deze dienst
Welkom bij mijn Azure Data Engineering Consulting Gig!
Wil je je ruwe data omzetten in schone, bruikbare inzichten? Ik ben gespecialiseerd in het ontwerpen en bouwen van robuuste, schaalbare data pipelines met behulp van de moderne Azure Data Stack, met een focus op Azure Databricks en PySpark.
Of je nu een architectuurroutekaart nodig hebt, een eenvoudige scriptoptimalisatie, of een complete end-to-end ETL/ELT pipeline vanaf nul wilt laten bouwen, ik help je data soepel en veilig te laten bewegen.
Wat ik aanbied in deze gig:
- Data Lake Setup: Je opslag organiseren volgens best practices zoals de Bronze/Silver/Gold (Medallion) architectuur.
- ETL Pipeline Ontwikkeling: Schone, efficiënte PySpark of SQL code schrijven om je data te extraheren, transformeren en laden.
- Orkestratie: Het ontwerpen van de geautomatiseerde stroom van je data met tools zoals Azure Data Factory.
- Prestatieoptimalisatie: Fouten opsporen en langzame Spark notebooks versnellen.
- Architectuurdiagrammen & audits: Duidelijke visuele documentatie en professionele aanbevelingen voor je huidige setup.
Veelgestelde vragen
Automatische vertaling
Moet ik mijn eigen Azure omgeving aanleveren?
Ja, je moet me toegang geven tot je Azure abonnement (zoals een Guest account met specifieke resource group rechten) zodat ik de pipelines kan bouwen, testen en implementeren in jouw workspace.
Wat is de Medallion Architectuur die je noemde?
Het is een zeer efficiënt datamodel dat in Databricks wordt gebruikt. Het organiseert data in een lakehouse in drie lagen: Bronze (ruwe, ingeladen data), Silver (gereinigde en gefilterde data), en Gold (bedrijfsgerichte aggregaties klaar voor analyse en rapportage).
Kun je een bug in mijn bestaande PySpark code oplossen?
Absoluut! Het Basic pakket is perfect hiervoor. Ik kan je huidige notebook controleren, de bottleneck of fout identificeren en de geoptimaliseerde, gecorrigeerde code leveren.
Moeten we een video call doen voor de consultatie minuten?
Helemaal niet! Hoewel Fiverr een Zoom-link biedt, kunnen we onze camera's uitlaten voor een audio-only call, of dat moment gebruiken om uitgebreid te chatten via tekst terwijl ik je architectuur en data doelen review.
