Ik bouw ETL-datalijnen met python, airflow, kafka en postgresql

Sommige informatie is automatisch vertaald.

Pakistan

Ik spreek Engels

2 bestellingen voltooid

Data scraping, Python developer, web developer

Ik ben een professionele en toegewijde freelancer, met een passie voor het leveren van hoogwaardige diensten aan mijn klanten. Ik heb een sterke staat van dienst in het op tijd en binnen budget opleve...
Over deze dienst

Vraag jij je af of jouw data verspreid zitten over API’s, bestanden en databases? Ik bouw geautomatiseerde ETL-pijplijnen die jouw data verzamelen, opschonen en laden zodat ze altijd klaar zijn voor gebruik.

Mijn ervaring:

  • Kafka-pijplijn die 8 GB aan media per minuut verwerkt met 35% lagere latentie
  • Celery + Redis-cluster die 1.000+ taken per minuut afhandelt
  • Dagelijkse crawlpijplijn die meer dan 500.000 vacatures opslaat
  • Technische opleiding met specialisatie Data Science (ETL, data mining)

Wat ik kan bouwen:

  • ETL / ELT-pijplijnen vanuit API’s, CSV, Excel, websites of databases
  • Geplande taken met Apache Airflow, Celery of cron
  • Real-time streaming met Kafka of RabbitMQ
  • Loading naar PostgreSQL, MySQL, Elasticsearch of AWS (S3, RDS, DynamoDB)
  • Data cleaning, transformatie en validatie

Tools: Python, Pandas, Airflow, Kafka, Celery, Redis, PostgreSQL, AWS

Jij krijgt schone, gedocumenteerde code die jij bezit. Stuur me een bericht met jouw databronnen en doelstellingen, en ik stel de eenvoudigste pipeline voor die werkt.

Bestemmingsplatform:

PostgreSQL

•

MySQL

•

Amazon S3

Tools & platforms:

Kafka Connect