Ik bouw ETL-datalijnen met python, airflow, kafka en postgresql
Data scraping, Python developer, web developer
Over deze dienst
Vraag jij je af of jouw data verspreid zitten over API’s, bestanden en databases? Ik bouw geautomatiseerde ETL-pijplijnen die jouw data verzamelen, opschonen en laden zodat ze altijd klaar zijn voor gebruik.
Mijn ervaring:
- Kafka-pijplijn die 8 GB aan media per minuut verwerkt met 35% lagere latentie
- Celery + Redis-cluster die 1.000+ taken per minuut afhandelt
- Dagelijkse crawlpijplijn die meer dan 500.000 vacatures opslaat
- Technische opleiding met specialisatie Data Science (ETL, data mining)
Wat ik kan bouwen:
- ETL / ELT-pijplijnen vanuit API’s, CSV, Excel, websites of databases
- Geplande taken met Apache Airflow, Celery of cron
- Real-time streaming met Kafka of RabbitMQ
- Loading naar PostgreSQL, MySQL, Elasticsearch of AWS (S3, RDS, DynamoDB)
- Data cleaning, transformatie en validatie
Tools: Python, Pandas, Airflow, Kafka, Celery, Redis, PostgreSQL, AWS
Jij krijgt schone, gedocumenteerde code die jij bezit. Stuur me een bericht met jouw databronnen en doelstellingen, en ik stel de eenvoudigste pipeline voor die werkt.
Bestemmingsplatform:
PostgreSQL
•
MySQL
•
Amazon S3
Tools & platforms:
Kafka Connect
Veelgestelde vragen
Automatische vertaling
Kun je de pijplijn deployen?
Ja. Ik kan het op jouw server of op AWS (EC2, Lambda, S3) uitrollen en planning opzetten.
Werk je met mijn bestaande database?
Ja. Ik werk met PostgreSQL, MySQL, SQLite en Elasticsearch, en met AWS-diensten zoals RDS en DynamoDB.
Krijg ik de broncode?
Ja. Je krijgt de volledige broncode met installatie-instructies en documentatie.
Kun je realtime streaming-pijplijnen bouwen?
Ja. Ik heb Kafka-pijplijnen gebouwd die 8 GB aan data per minuut verwerken, plus RabbitMQ- en Celery-taakwachtrijen.
Welke databronnen kun je verbinden?
REST-API’s, CSV- en Excel-bestanden, websites (via scraping), databases en cloudopslag zoals S3.
Wat heb je van mij nodig om te beginnen?
Jouw databronnen, de bestemming, hoe vaak de data bijgewerkt moet worden en eventuele toegangsgegevens voor testomgevingen.

