Ik bouw spark ETL-pijplijnen voor batchverwerking en big data-workflows

Sommige informatie is automatisch vertaald.
Veysi Bisen

Turkije

Ik spreek Turks, Engels

10 bestellingen voltooid

Schaalbare oplossingen, schone code en duidelijke communicatie

Hallo! Ik ben Veysi, een freelance softwareontwikkelaar die krachtige, duurzame en schaalbare oplossingen bouwt met .NET Core, RabbitMQ, PostgreSQL en Vue.js. Met meer dan 4 jaar ervaring in de zakel...
Lees meer
Over deze dienst

Ik ontwerp en ontwikkel schaalbare Spark ETL-pijplijnen voor batch data verwerking, transformatie en workflows met grote volumes.


Deze dienst is ideaal voor bedrijven die data willen verwerken uit bestanden, databases, APIs of andere gestructureerde bronnen op een betrouwbare en onderhoudsvriendelijke manier. Of je nu een nieuwe batch-pijplijn vanaf nul nodig hebt of verbeteringen aan een bestaande taak, ik help je een schone en productiegerichte oplossing te bouwen.


Ik richt me op praktische data engineering-resultaten zoals ingestie, transformatie, validatie, aggregatie en levering in analytics-klare datasets of downstream systemen.


Wat deze dienst kan omvatten

  • Spark of PySpark ETL-pijplijn ontwikkeling
  • batchverwerking voor grote datasets
  • gegevensinvoer uit CSV, JSON, Parquet, APIs en databases
  • gegevensopschoning, normalisatie en transformatie
  • joins, aggregaties, filtering en verrijkingslogica
  • output naar bestanden, data warehouses of databases
  • optimalisatie en refactoring van bestaande Spark-taken
  • gestructureerde logging en onderhoudsvriendelijke codeorganisatie
  • basisdocumentatie en overdrachtsondersteuning
Lees meer
build spark etl pipelines for batch processing and big data workflows
Volledig scherm
build spark etl pipelines for batch processing and big data workflows

Expertise:

API integratie

•

Big data

•

Data-extractie

+3 meer

Technologie:

apache vonk

•

BigQuery

•

Python

•

Scala

•

SQL

•

Apache Airflow

Gerelateerde tags