Ik bouw pyspark ETL-pijplijnen voor batch- en streaminggegevens op AWS
Data Engineer voor PySpark, AWS en QuickSight
Over deze dienst
Nodig je betrouwbare PySpark-taak of een volledige ETL-pijplijn? Ik ben fulltime data engineer en het bouwen van batch- en streaming-pijplijnen met PySpark op AWS is mijn dagelijkse werk.
Wat ik voor je kan doen:
- PySpark ETL-baar schrijven: inlezen, schoonmaken, transformeren, laden
- Grote datasets in batch verwerken op Amazon EMR
- Streaming jobs bouwen voor real-time data
- Je taken integreren met Apache Hive en Apache Hudi
- Een data lake op Amazon S3 opzetten of organiseren
- Bestaande PySpark-code optimaliseren of debuggen
Wat je krijgt:
- Schone, commentaarrijke code
- Korte notities over hoe je het draait en plant
- Antwoorden meestal binnen een uur
Hoe het werkt:
1. Stuur me je databron, je doel en de transformatie die je nodig hebt
2. Ik bevestig scope, prijs en tijdlijn
3. Ik lever de code en pas deze aan op basis van jouw feedback
Stuur me alsjeblieft een bericht voordat je bestelt zodat we eerst de scope afspreken.
Expertise:
Big data
•
Gegevensmanipulatie
•
etl
•
Transformatie
•
SQL
•
NoSQL
Technologie:
Apache Hadoop
•
apache vonk
•
Excel
•
Python
•
SQL
•
NoSQL
Veelgestelde vragen
Automatische vertaling
Op welke platforms werk je?
Voornamelijk Amazon EMR en Amazon S3, met PySpark, Apache Hive en Apache Hudi. Als je een ander platform gebruikt, stuur me dan een bericht voordat je bestelt zodat ik kan bevestigen of het geschikt is.
Kun je een PySpark-taak die traag is of faalt repareren?
Ja. Stuur me de foutmelding of de Spark UI-gegevens samen met de code, en ik vertel je wat er mis is en wat erbij komt kijken om het op te lossen voordat je_bestelt.
Wat heb je van mij nodig om te beginnen?
Je gegevensbron en doel, een staafsample van de data of het schema, en de transformatie die je nodig hebt. Voor werk in je AWS-account is een beperkte IAM-rol met toegang tot de relevante EMR-cluster of S3-bucket voldoende.
