Ik doe big data taken met apache hadoop superset kafka mongo clickhouse

Hallo! Ik ben een data engineer met interesse in het opschalen en optimaliseren van data-pipelines.

Deze dienst gaat over het aanbieden van mijn Big-data diensten voor Machine Learning en analytics met Apache Spark, Apache Hadoop, Apache Hive, Apache Kafka, Apache Airflow, superset, Spark SQL en MongoDB, clickhouse.

Ik programmeer in Python.

Ik vind het leuk om ruwe big-data (gestructureerd of ongestructureerd) om te zetten in analytics, visuals of om Highgly accurate ML-modellen te trainen.

Mijn eerdere projecten

• muziek-aanbevelingssysteem op spotify,
• Persoonlijke zoekmachine voor Excel-bestanden
• Amazon market-basket analyse
• Optimalisatie van Hadoop Cluster
• Dijsktra algoritme met GraphX.

tools: shell-scripting, hadoop, pyspark, java + spark, Scala + Spark, kafka en mongodb

Hoewel al deze projecten ook streaming data, ETL, analytics, ML omvatten.

Daarnaast, kan ik Spark clusters opzetten op VM of cloud met Mesos, Yarn, of standalone configuraties.

Stuur gerust een bericht en bespreek de taak voordat je een bestelling plaatst.

Dank je wel, ik kijk ernaar uit om je te helpen bij je volgende project :)