Ik ga schaalbare datapijplijnen bouwen met pyspark, databricks en azure

Sommige informatie is automatisch vertaald.

India

Ik spreek Hindi, Engels

Senior Data Engineer

Ik ben een Senior Data Engineer met ruim 6 jaar ervaring in het ontwerpen en optimaliseren van schaalbare datapijplijnen over Azure en AWS. Ik ben gespecialiseerd in PySpark, Databricks en cloud-gebas...
Over deze dienst

Heb je te maken met trage SQL-query’s, rommelige data-silos of hoge cloud-kosten? Ik ben een Enterprise Data Engineer (Microsoft Azure-gecertificeerd) die gespecialiseerd is in PySpark, Azure Databricks, Delta Lake en SQL. Ik ontwerp, optimiseer en bouw fouttolerante data-architecturen die ruwe data omzetten naar analytics-ready en AI-ready pipelines.

Wat ik voor jou kan doen:

  • ETL / ELT Pipeline-ontwerp: Schaalbare batch- en streaming-pijplijnen met PySpark, Databricks en Azure Data Factory (ADF).
  • Medallion Lakehouse-architectuur: Structuur van ruwe data in Bronze, Silver en Gold Delta Lake-lagen op ADLS Gen2.
  • Prestaties en kostenoptimalisatie: Trage Spark-taken oplossen, data-skew verhelpen, Oracle/PostgreSQL-query’s afstemmen en Z-Ordering/Liquid Clustering toepassen.
  • AI & RAG Data Readiness: Koppel data lakes aan vector-databases (pgvector) en Kubernetes (AKS) voor real-time AI-retrieval.

Waarom met mij werken?

  • Productieklaar, modulair codewerk met duidelijke architectuurdiagrammen.
  • Diepe expertise in Azure, Databricks, Python en relationele databases.
  • Duidelijke communicatie en een walkthrough na levering.

Stuur me een bericht voordat je bestelt zodat we jouw data-stack en scope kunnen afstemmen!


Taal:

Engels

•

Hindi

Technische expertise:

Databricks

•

Snowflake

•

Google BigQuery

Expertise:

Datapijplijnen

•

ETL-ontwikkeling

•

Datawarehousing

Branche:

Audio en video

•

Gegevensanalyse

•

Financiële diensten