Door categorieën bladeren
Ontdekken
Fiverr Pro
Nederlands
$
USD
Ik bouw robuuste en schaalbare data pipelines met behulp van pyspark, databricks en airflow
Over deze dienst
Heb je schaalbare, productieklare data pipelines nodig? Ik bouw high-performance data-architecturen met Databricks, PySpark, SQL, Apache Airflow en Apache Kafka. Van eenvoudige bestandsinvoer tot complexe real-time streaming, ik lever geoptimaliseerde, kostenefficiënte cloudoplossingen.
Wat ik aanbied:
- End-to-End ETL/ELT: Veilige data pipelines met PySpark en SQL.
- Databricks optimalisatie: Delta Lake, Delta Live Tables (DLT) en Unity Catalog setup.
- Orkestratie: Geautomatiseerde Apache Airflow DAGs met foutafhandeling.
- Real-time streaming: Lage latency event streaming via Apache Kafka.
- Prestatieoptimalisatie: Verlaag je cloud compute kosten met geoptimaliseerde queries.
Waarom voor mij kiezen?
- Productieklaar, schone en herbruikbare code.
- Ervaring met enterprise cloud (AWS / Azure).
- Gratis architectuur documentatie inbegrepen.
Tools & platforms:
Fivetran
•
Kafka Connect
•
Microsoft SSIS
•
Overige
Veelgestelde vragen
Automatische vertaling
1. Welke informatie of toegang heb je nodig om te beginnen?
Ik heb een duidelijke beschrijving nodig van je data bronnen, het verwachte eindformaat en veilige, tijdelijke toegang tot je omgeving (zoals Databricks persoonlijke toegangstokens, cloud storage buckets of Airflow omgevingen)
2. Verwerk je zowel batch processing als real-time streaming?
Ja. Ik bouw standaard batch ETL pipelines met PySpark en Databricks SQL, evenals real-time, lage latency streaming pipelines met Apache Kafka en Databricks Delta Live Tables (DLT).
3. Worden de data pipelines volledig geautomatiseerd?
Ja. Ik schrijf aangepaste Apache Airflow DAGs om je volledige data pipeline te orkestreren, plannen, monitoren en automatiseren, inclusief robuuste foutafhandeling en foutmeldingen.
4. Ontvang ik de broncode en documentatie?
Ja. Je krijgt 100% eigendom van alle broncode (zoals PySpark notebooks, SQL scripts en Airflow DAG bestanden), samen met schone, gemakkelijk te lezen technische documentatie over hoe je het kunt uitvoeren.
