Ik ontwerp en implementeer schaalbare microsoft fabric data platform oplossingen op maat

Sommige informatie is automatisch vertaald.

India

Ik spreek Engels

Senior Data Engineer

Ik ben een Senior Data Engineer bij Arif Pasha Company met meerdere jaren ervaring in het ontwerpen, bouwen en optimaliseren van grootschalige data platforms. Mijn werk richt zich op het ontwikkelen v...
Over deze dienst


  • Werken aan het configureren van Data ingestion met Apache SQOOP en FLUME naar de doel-HDFS.
  • Goede ervaring met Hadoop-2.0 versie en Cloudera manager CDH3.
  • Ervaring met AWS Cloud implementatie op EC2, EMR, S3 en andere services, Spark SQL met MySQL (JDBC) bron, PySpark RDD Actions & Transformations en Dataframe API.
  • Spark architectuur en componenten: Spark Core & PySpark SQL met Dataframes, Big Data technologieën: Hadoop (CDH distributie), MapReduce framework & Spark ecosysteem.
  • Hadoop high level talen: Hive 0.8.0. Data-analyse met Spark Core & Spark SQL & Spark Streaming.
  • Data-analyse projecten geleverd met Hadoop-gebaseerde tools en de python data science stack. Interactie met klanten en het afhandelen van hun vragen en problemen.
  • Kennis van end-to-end projectworkflow.

Bestemmingsplatform:

Snowflake

Google BigQuery

Amazon Redshift

Tools & platforms:

Fivetran

Airbyte

Google Cloud Dataflow

Mijn portfolio

Gerelateerde tags