Ik ga de ETL-pijplijn automatiseren met behulp van Data Factory en Databricks

Sommige informatie is automatisch vertaald.

Kapil J

India

Ik spreek Hindi, Engels

91 bestellingen voltooid

SQL-ontwikkelaar

Ervaren professional met meer dan 5 jaar ervaring in Data analytics, SQL Server, query-optimisatie, databaseprogrammering, Python en Powershell scripting. Daarnaast heb ik uitgebreide kennis van Micro...

Lees meer

Over deze dienst

Hallo,

Hopelijk gaat alles goed met je.

Ik heb meer dan 4 jaar ervaring als Data Engineer in verschillende domeinen en heb uitgebreide ervaring in het ontwikkelen van zeer complexe ETL-pipelines.

Mijn diensten omvatten:

Het bouwen van de end-to-end oplossing in Azure Data Factory met Copy data/Mapping Data Flow.
Complexe query-optimisatie
Data laden, transformatie en orchestratie (ETL-proces)
Migratie van data van on-premises systemen of applicatie-API's naar ADLS, Blob storage
Ontwikkelen van complexe transformaties met DataBricks in Python/PySpark/SparkSQL
Verplaatsen van de verwerkte data naar Delta Lake, Data Warehouse, Azure SQL Database (SSMS), MSSQL
Gebruik van Azure KeyVault
Creëren van SQL Stored Procedures/Functions/Views/Queries
Ondersteuning voor meerdere bronnen en bestemmingen zoals FTP, DB, Datawarehouse, DataLake
Notificaties bij falen of succes van pipeline-evenementen met Azure Logic Apps
Ontwikkelen en onderhouden van Delta live table-architectuur in Databricks
Een dashboard maken in Databricks
Toepassen van security en best practices in code en omgevingen
Pipeline planning