Ik bouw en optimaliseer etl data pipelines op AWS of Azure met PySpark

Sommige informatie is automatisch vertaald.

India

Ik spreek Engels, Russisch, Frans, Duits

AWS en Azure Data Engineer voor PySpark, ETL en Data Pipelines

Data Engineer met bijna 5 jaar ervaring in het bouwen van productie pipelines op AWS en Azure, momenteel bij een SEBI-gereguleerde fintech. AWS Certified Data Engineer - Associate. Ik bouw en reparee...
Over deze dienst

Heb je betrouwbare data pipelines nodig zonder een fulltime engineer in te huren?


Ik ben een Data Engineer met bijna 5 jaar ervaring op AWS en Azure, momenteel werkzaam bij een gereguleerde fintech. AWS Certified Data Engineer - Associate.


Wat ik voor jou kan doen:

  • ETL/ELT pipelines bouwen met PySpark, Python en SQL
  • - AWS: Glue, Lambda, S3, Redshift, Athena
  • - Azure: Data Factory, Synapse, Databricks, plus Snowflake
  • - Data migreren van legacy systemen of bestanden naar een cloud warehouse
  • - Langzame queries en pipelines versnellen (ik heb 30-40% verbetering gerealiseerd)
  • - Data-kwaliteitscontroles toevoegen zodat slechte data nooit in je rapporten terechtkomt
  • - Orkestratie met Airflow of ADF

Hoe we werken: jij deelt toegang of voorbeelddata, ik stuur een kort plan, bouw het, en lever werkende code plus documentatie.


Stuur me alsjeblieft een bericht voordat je bestelt, zodat ik de scope kan bevestigen.

Bestemmingsplatform:

Snowflake

•

Amazon Redshift

Tools & platforms:

Azure Data Factory

•

Overige