Ik bouw Databricks-pijplijnen met pyspark

Sommige informatie is automatisch vertaald.

India

Ik spreek Engels, Hindi

Gegevensingenieur

Data-engineer met meer dan 5 jaar ervaring in het bouwen van betrouwbare, goed geteste datapijplijnen op Azure Databricks. Ik werk met Python, SQL, PySpark, Delta Lake en Unity Catalog om ETL/ELT-pijp...
Over deze dienst

Ben je op zoek naar een ervaren Databricks-data engineer om een betrouwbare, schaalbare datapijplijn te bouwen? Ik ben een Databricks Geaccrediteerd Data Engineer met meer dan 5 jaar ervaring in het bouwen van grootschalige ETL-pijplijnen met PySpark, Spark SQL en Delta Lake voor wereldwijde klanten in financiën en gezondheidszorg.


Wat ik lever:

  • Batch ETL/ELT datapijplijn in PySpark en Spark SQL
  • Medallion-architectuur (Bronze Zilver Goud) op Delta Lake
  • Data-inname uit CSV, JSON, Parquet en databases
  • MERGE/upsert, SCD en schema-evolutie
  • Geplande Databricks-workflows (jobs)
  • Gegevenskwaliteitcontroles en validatie
  • Prestatiegerichte Spark-code
  • Architectuurdiagram en pijplijnontwerpnotities
  • Schoon, goed gedocumenteerde code


Waarom samenwerken met mij:

  • Productiegerechte code gebaseerd op echte industrie
  • Ervaring met het verwerken van miljarden records
  • Duidelijke communicatie en tijdige levering


Als je meer dan 3 bronnen of maatwerk wensen hebt, stuur ik een aangepaste aanbieding.

Taal:

Engels

•

Hindi

Technische expertise:

apache vonk

•

Databricks

•

hadoop

Expertise:

Datapijplijnen

•

ETL-ontwikkeling

•

Data Lake instellen

Branche:

Gegevensanalyse

•

Financiële diensten

•

Eten en drinken