Ik repareer en optimaliseer etl data pipelines met airflow of nifi

Sommige informatie is automatisch vertaald.

Pakistan

Ik spreek Engels, Urdu, Punjabi, Duits

Big Data-ingenieur

Senior Data Engineer met meer dan 7 jaar ervaring in het bouwen van productieklare data pipelines en lakehouses voor grote klanten. Ik ben gespecialiseerd in Apache NiFi, Airflow, Spark ETL en data wa...
Over deze dienst

Is je data pipeline onbetrouwbaar, traag, of heb je er nog geen gebouwd? Ik ontwerp en lever een productieklare pipeline die is afgestemd op jouw architectuur.

Wat ik aanbied:

  • Apache NiFi pipeline ontwerp en implementatie (Docker of Kubernetes)
  • Airflow DAG ontwikkeling, planning, retries, waarschuwingen, afhankelijkheden
  • PySpark en Spark SQL ETL jobs voor grootschalige data transformatie
  • Ingestie van REST APIs, SAP OData, S3/MinIO, databases en platte bestanden
  • Op maat gemaakte NiFi processors in Java voor complexe bedrijfslogica

Waarom met mij werken:

  • Meer dan 7 jaar echte enterprise ervaring met het bouwen van pipelines voor Duitse zakelijke klanten
  • Ik heb pipelines gebouwd die miljoenen records verwerken binnen complexe multi-source architecturen
  • Elke oplevering bevat foutafhandeling, logging en documentatie, niet alleen werkende code

Wat ik NIET doe:

  • Snel gekopieerde oplossingen
  • Repackaged tutorials als deliverables

Weet je niet zeker wat je nodig hebt? Stuur me een bericht voor een gratis architectuurconsult van 15 minuten.

Bestemmingsplatform:

PostgreSQL

Oracle Database / Exadata

Tools & platforms:

Kafka Connect

Oracle GoldenGate

Mijn portfolio