Ik zal een etl-pijplijn ontwikkelen met behulp van azure datafactory en databricks

LET OP: Neem contact met mij op voordat u een bestelling plaatst via de knop CONTACTEER MIJ in de rechterbovenhoek om de vereisten te bespreken. De prijs die bij de gig wordt vermeld, is een uurtarief .

Professionele Azure Data Engineer met meer dan 3 jaar ervaring en hands-on ervaring in het ontwikkelen van zeer complexe ETL-pijplijnen.

• Ervaring met het implementeren van schaalbare, end-to-end geoptimaliseerde workflows op Azure Data Factory/Databricks om gegevens uit diverse bronnen te extraheren, verwerken en opslaan. Dit resulteerde in een gemiddelde afname van 40% in de gegevensverwerkingstijd voor mijn klanten.
• Ervaring met het migreren van gegevens uit oudere systemen (on-premise) en API's naar Azure Data Lake , het uitvoeren van complexe transformaties op gegevens met behulp van DataBricks (Python en PySpark), het verplaatsen van de verwerkte gegevens naar SQL Server / PostgreSQL / Data of Delta Lake en het schrijven van SQL Stored Procedures / Functions die de gegevens kunnen transformeren en er berekeningen op kunnen uitvoeren op basis van bepaalde bedrijfslogica.
• Ik ben ook bedreven in het ontwikkelen en onderhouden van DeltaLake -architecturen met behulp van Databricks en het benutten van DataLakes om de onderliggende gegevens op te slaan en beveiligingsnormen af te dwingen.
• Werklasten plannen met behulp van Azure Data Factory-triggers of Databricks-workflows.