Ik bouw een geautomatiseerde datapijplijn met Python en Airflow

Sommige informatie is automatisch vertaald.

Nigeria

Ik spreek Engels

Data- en cloud engineer

Ik ben een data-ingenieur die geautomatiseerde datapijplijnen bouwt die op zichzelf draaien, lokaal of in de cloud. Ik werk met Python, SQL, PostgreSQL, Apache Airflow en Docker, enzovoort en heb een ...
Over deze dienst

Sukkel van het handmatig kopiëren en schoonmaken van data? Ik bouw geautomatiseerde datapijplijnen die jouw data verzamelen, schoonmaken en in een database opslaan, en zélf op een schema draaien.


Wat je krijgt:

- Python-code die data uit API's of bestanden haalt

- Data cleaning (duplicaten, verkeerde formaten, ontbrekende waarden)

- Opslag in een PostgreSQL-database

- Dagelijkse planning met Apache Airflow

- Docker-packaging zodat het overal hetzelfde draait

- AWS cloud-server deployment (Premium-pakket)


Ik heb zelf een werkende pijplijn gebouwd en uitgerold, en ik kan er screenshots van delen.


Voordat je bestelt, stuur me je databron en wat je met de data wilt doen, zodat ik kan bevestigen dat het past.

Expertise:

API integratie

•

Automatiseringen

•

Big data

Technologie:

apache vonk

•

BigQuery

•

Python

•

SQL

•

Apache Airflow

Mijn portfolio