Stel je een datapijplijn voor die naadloos gegevens uit meerdere bronnen haalt, ze schoonmaakt en transformeert, en betrouwbare, analyseklare data levert. Daar kan ik bij helpen! Met hands-on ervaring in data engineering bij Airtel Digital en Grant Thornton Bharat kan ik jou helpen efficiënte datapijplijnen te bouwen, gegevensverwerking te optimaliseren en workflows te automatiseren die zijn afgestemd op jouw bedrijfsbehoeften.
Mijn vaardigheden:
- Sterke bekwaamheid in Python, SQL, PySpark en Spark SQL
- Ervaring met Apache Spark, Databricks en Delta Lake
- Hands-on ervaring met Apache Kafka en real-time gegevensstroom
- Ervaring met het bouwen van ETL-pijplijnen, incrementele data loads en data-duplicatie-frameworks
- Kennis van Google Cloud Platform, Google Cloud Storage en BigQuery
- Ervaring met Spark-prestatieoptimalisatie en SQL-queryoptimalisatie
- Inzicht in datawarehousing, data modelling en data quality
- Sterke probleemoplossende en analytische vaardigheden
Wat ik doe:
- Data Engineering: Bouw en optimaliseer ETL-pijplijnen met Python, SQL en PySpark.
- Data Cleaning & Transformation: Reinig, valideer en transformeer ruwe data naar gestructureerde, analyseklare datasets.
- Pijplijnautomatisering: Automatiseer repetitieve data-verwerking