Door categorieën bladeren
Ontdekken
Fiverr Pro
Nederlands
$
USD
Ik bouw grote data pipelines en verwerk datasets met behulp van pyspark en sql
AI-, Data- en Web3-engineer
Ik ben een ML & Data Engineer met een Master in Data & Intelligence van Université Claude Bernard Lyon 1. Ik specialiseer me in het overbruggen van de kloof tussen geavanceerd AI-onderzoek en schaalba...
Over deze dienst
Worstelt je met enorme datasets of trage verwerkingstijden?
Ik ben een Data Engineer die gespecialiseerd is in grootschalige Big Data verwerking, ETL en analytics. Ik bouw zeer geoptimaliseerde data pipelines om gigabytes aan data efficiënt te importeren, schoon te maken en te transformeren met behulp van PySpark en Python. Of je nu complexe aggregaties, geospatiale mapping of schone visualisaties nodig hebt, ik lever productieklare code.
Mijn kernservices:
- Big Data pipelines: High-performance ETL-workflows met Apache Spark, PySpark en Python.
- Geavanceerde transformaties: Geoptimaliseerde Spark SQL-query's, complexe window functies, UDFs en grootschalige joins.
- Data-integratie: Structuur- en semi-gestructureerde data schoonmaken en formatteren voor verdere analytics.
- Geospatiale data: Verwerking van locatie- en tijdreeksgegevens.
- Visuele inzichten: Big data vertalen naar bruikbare visualisaties met Pandas en Matplotlib.
Tech stack: Python | Apache Spark | PySpark | Spark SQL | Pandas | Matplotlib
Waarom ik?
Ik schrijf schone, schaalbare en volledig gedocumenteerde code, zodat je data-operaties nauwkeurig en computationeel geoptimaliseerd zijn.
Stuur me gerust een bericht voordat je bestelt om je dataset te bespreken!
_s7yyko.jpg)
Tools & platforms:
Overige
Veelgestelde vragen
Automatische vertaling
Zijn mijn gegevens veilig en vertrouwelijk?
Absoluut. Om volledige privacy te garanderen, heb ik geen toegang nodig tot je gevoelige informatie. Je kunt me eenvoudig een geanonimiseerde of dummy dataset geven. Ik bouw en test de pipeline daarmee en lever de uiteindelijke code zodat je deze veilig op je echte data kunt uitvoeren.
Kan jouw code draaien op cloudplatforms zoals Databricks, AWS of GCP?
Ja. Ik ben gespecialiseerd in het schrijven van robuuste, standaard PySpark pipelines. Omdat de code zeer draagbaar is, kun je de scripts die ik lever gemakkelijk lokaal uitvoeren, op Databricks of indienen bij je eigen cloud-beheerde Spark-clusters zoals AWS EMR of Google Cloud Dataproc.
Kun je omgaan met datasets van meerdere gigabytes of terabytes?
Ja! Daar is Apache Spark precies voor gebouwd. Ik schrijf geoptimaliseerde, gedistribueerde data pipelines die specifiek ontworpen zijn om enorme datasets te verwerken die te groot zijn voor standaard Pandas workflows.
Wat krijg ik precies bij de levering?
Je ontvangt volledig gecommentarieerde, productieklare code (als .py scripts of Jupyter Notebooks), plus duidelijke documentatie over hoe je de pipeline runt en de taak plant.
