Ik bouw schaalbare etl data pipelines met python pyspark en AWS

Sommige informatie is automatisch vertaald.

India

Ik spreek Engels

2 bestellingen voltooid

Data engineer, ETL pipelines, Databricks, SQL, Azure, AWS

Ben je op zoek naar een professionele Data Engineer om robuuste, schaalbare ETL-pijplijnen te bouwen? Je bent op de juiste plek! 🔹 Python, PySpark, Pandas & SQL 🔹 AWS Glue, S3 & Redshift 🔹 Azure Da...
Over deze dienst

End-to-End ETL Pipelines

  • Ontwerp en implementeer schaalbare data pipelines met Python, PySpark, AWS Glue en Databricks voor efficiënte data verwerking.


AWS Data Engineering

  • Maak S3-naar-Redshift pipelines met data-inname, transformatie, validatie, partitionering en incrementele loading.


Azure Data Engineering

  • Ontwikkel schaalbare oplossingen met Azure Databricks, ADLS, PySpark en Delta Lake voor moderne cloud data platforms.


Data Cleaning & Transformation

  • Gebruik Pandas, PySpark en SQL om gestructureerde en semi-gestructureerde data te reinigen, transformeren, samenvoegen, valideren en standaardiseren.


Performance Optimization

  • Optimaliseer Spark- en ETL-workloads met partitionering, broadcast joins, predicate pushdown, AQE en geoptimaliseerde Parquet/Delta-formaten.

Bestemmingsplatform:

Amazon Redshift

•

PostgreSQL

•

MySQL

Tools & platforms:

AWS Glue DataBrew

•

Overige