Ik maak een geautomatiseerde etl data pipeline met python, airflow en sql
Gegevensingenieur
Over deze dienst
Ik bouw geautomatiseerde ETL-pijplijnen die data efficiënt verzamelen, verwerken en opslaan.
Ik haal data uit APIs, bestanden of webbronnen, transformeer deze naar schone gestructureerde formaten en laad ze in databases voor analyse. Ik automatiseer workflows zodat je data zonder handmatige inspanning wordt bijgewerkt.
Wat ik kan doen:
- End-to-end ETL-pijplijnen bouwen
- Data halen uit APIs, CSV, Excel of websites
- Ruwe data schoonmaken en transformeren met Python
- Data laden in MySQL, PostgreSQL of MongoDB
- Workflows automatiseren met cron of Airflow
- Prestaties optimaliseren voor grote datasets
Tools:
Python, Pandas, FastAPI, Airflow, Apache Kafka, MySQL, PostgreSQL, AWS
Waarom voor mij kiezen:
- Schone en betrouwbare code
- Schaalbare oplossingen
- Duidelijke communicatie
Neem contact met me op voordat je een bestelling plaatst.
Tools & platforms:
Airbyte
•
AWS Glue DataBrew
•
Apache NiFi
Mijn portfolio
Veelgestelde vragen
Automatische vertaling
Wat heb je nodig om te beginnen?
Ik heb je gegevens over de data bron, wensen en verwachte outputformaat nodig.
Kun je de pipeline automatiseren?
Ja. Ik kan ETL-taken plannen met cron of Airflow.
Welke data bronnen kan je verwerken?
APIs, CSV, Excel, databases en webdata.
Welke databases ondersteund u?
MySQL, PostgreSQL, MongoDB en andere indien nodig.
Kunt u overweg met grote datasets?
Ja. Ik optimaliseer pijplijnen voor prestaties en schaalbaarheid.
Levert u revisies aan?
Ja. Revisies hangen af van het pakket dat je kiest.
