Ik bouw een geautomatiseerde datapijplijn met Python en Airflow
Over deze dienst
Sukkel van het handmatig kopiëren en schoonmaken van data? Ik bouw geautomatiseerde datapijplijnen die jouw data verzamelen, schoonmaken en in een database opslaan, en zélf op een schema draaien.
Wat je krijgt:
- Python-code die data uit API's of bestanden haalt
- Data cleaning (duplicaten, verkeerde formaten, ontbrekende waarden)
- Opslag in een PostgreSQL-database
- Dagelijkse planning met Apache Airflow
- Docker-packaging zodat het overal hetzelfde draait
- AWS cloud-server deployment (Premium-pakket)
Ik heb zelf een werkende pijplijn gebouwd en uitgerold, en ik kan er screenshots van delen.
Voordat je bestelt, stuur me je databron en wat je met de data wilt doen, zodat ik kan bevestigen dat het past.
Technologie:
apache vonk
•
BigQuery
•
Python
•
SQL
•
Apache Airflow
Mijn portfolio
Veelgestelde vragen
Automatische vertaling
Werk je met Power BI of Tableau?
Ja, dat kan ik, maar focus ligt op de datapijplijn en database. Ik kan schone data voorbereiden zodat jouw dashboard-tool het kan lezen.
Kun je het deployen naar mijn eigen AWS account?
Ja, als je me toegang geeft. Anders kan ik het op mijn eigen server installeren.

