Ik ben jouw databricks, azure, gcp data engineer

Sommige informatie is automatisch vertaald.

Pakistan

Ik spreek Urdu, Engels

14 bestellingen voltooid

Een Data Engineer die complexe problemen oplost

Data Engineer Hoi, als een ervaren Data Engineer heb ik veel ervaring in het bouwen en verbeteren van end-to-end data pipelines. Met een stevige achtergrond in ETL en data warehousing werk ik vlot me...
Over deze dienst

Betrouwbare, schaalbare en cloud-native data pipelines | Azure & Databricks specialist

Heb je moeite om je data betrouwbaar te verplaatsen, transformeren of schalen? Ik bouw end-to-end, productieklare data pipelines die volledig cloud-native en CI/CD-gedreven zijn, en automatiseren het inladen, transformeren, valideren en implementeren.

Ik breng praktische expertise in PySpark, Spark SQL, Python, SQL, Databricks, Azure en GCP om ruwe, rommelige data om te zetten in schone, betrouwbare en analytics-klare datasets.

Wat ik aanbied:

  • ETL & ELT pipeline ontwerp (batch & streaming)
  • PySpark & Spark SQL-gebaseerde data transformatie op schaal
  • Databricks ontwikkeling met Databricks Asset Bundles (DAB) voor herhaalbare, versiebeheerde deployments
  • CI/CD pipeline opzet met behulp van Azure DevOps (build, release, geautomatiseerd testen & implementeren)
  • Veilige integratie met Service Principals voor authenticatie tussen omgevingen
  • Cloud-native deployment: Azure Data Factory, Azure Data Lake, Azure SQL, Databricks, GCP Dataflow, BigQuery
  • API-, database- en cloud storage-integraties
  • Real-time streaming architectuur (Kafka / Event Hubs / Pub-Sub)
  • End-to-end DevOps-praktijken: versiebeheer, omgeving promotie

Taal:

Engels

Technische expertise:

Apache Airflow

apache vonk

Databricks

Expertise:

Datapijplijnen

ETL-ontwikkeling

Data-integratie

Branche:

Gegevensanalyse