Ik bouw een geautomatiseerde ETL-pipeline met Airflow en PostgreSQL

Sommige informatie is automatisch vertaald.

Oekraïne

Ik spreek Engels

Gegevensingenieur

Ik ben een Junior Data Engineer met bewezen vaardigheden in het bouwen van robuuste end-to-end batch data pipelines. Mijn expertise omvat het verzamelen van data uit verschillende externe bronnen, het...

Lees meer

Over deze dienst

Stop met handmatig data kopiëren tussen bronnen. Ik bouw geautomatiseerde ETL-pipelines die data ophalen van APIs of websites, schoonmaken en valideren, en in je database laden zonder handmatig werk na de setup.

Wat je krijgt:

- Data opgehaald uit jouw bron(en) API of website

- Schoonmaak en validatie voordat het je database raakt

- Opslag in PostgreSQL (of jouw favoriete SQL-database)

- Optioneel: geplande runs met Apache Airflow (dagelijks/wekelijkse/aangepast)

- Optioneel: volledige geschiedenis tracking, niet alleen de laatste snapshot

- Optioneel: automatische meldingen (Telegram/e-mail) wanneer nieuwe data binnenkomt

Onlangs heb ik een productie-achtige pipeline gebouwd op deze exacte stack: Airflow, PostgreSQL, Docker, die data ophaalt uit meerdere bronnen, normaliseert in één schone schema, en de geschiedenis van elke record bijhoudt. Ik deel de GitHub repo zodat je de codekwaliteit kunt bekijken voordat je bestelt.

Elke pipeline wordt gebouwd rondom jouw daadwerkelijke data bron en database, niet een generiek sjabloon met jouw naam erop geplakt.

Stuur me je data bron en doel database via bericht voordat je bestelt, zodat ik de scope en planning kan bevestigen.

Lees meer