Ik los langzame apache spark jobs op en verbeter de prestaties

S
shubhamgupta728
S
shubhamgupta728
Shubham G
Sommige informatie is automatisch vertaald.
fix slow apache spark jobs and optimize performance
fix slow apache spark jobs and optimize performance
Volledig scherm
Bekijk presentatie
fix slow apache spark jobs and optimize performancefix slow apache spark jobs and optimize performancefix slow apache spark jobs and optimize performance

Over deze dienst

Automatische vertaling

Werken je Apache Spark jobs te langzaam of falen ze door geheugen/skew problemen?


Ik help bij het optimaliseren van Spark jobs om de runtime aanzienlijk te verminderen en de stabiliteit te verbeteren.


Wat ik kan oplossen:

- Langzame Spark jobs (lange runtimes)

- Data skew en shuffle problemen

- Inefficiënte joins en partitionering

- Geheugenfouten (OOM)

- Slechte DAG-uitvoeringsprestaties


Wat je krijgt:

- Geoptimaliseerde Spark code of configuratie

- Duidelijke verbeteringen vóór en na

- Verklaring van de oorzaak (bondig)


Ervaring:

Werkzaam geweest aan grootschalige data-inname systemen die hoge volumes verwerken.


Opmerking:

Stuur me een bericht voordat je bestelt om het probleem te bespreken.

  • Programmeertaal

    • Java
    • Python
    • Ruby/RoR
    • Scala

  • Expertise

    • Algoritmen en gegevensstructuren
    • Prestaties
    • Databases

Maak kennis met Shubham G

Shubham G

Principal Software Engineer

  • Afkomstig uitIndia
  • Lid sindsjun 2021

  • Talen

    Engels
As a Principal Software Engineer at Infoworks.io, I lead the development and maintenance of web applications and APIs that serve millions of users and customers. I use Ruby on Rails, SQL, Java, and other technologies to create scalable, secure, and user- friendly solutions. I have over five years of experience in software engineering.

Automatische vertaling

Gerelateerde tags