Ik ga een moderne datastack opzetten met behulp van dbt, metabase, postgresql en airbyte

Stel je de volgende situaties voor:

• Een volwassen bedrijf zonder of met weinig digitale infrastructuur dat automatisch data consolideert en transformeert, zonder expertise om dit te implementeren of te beheren
• Een start-up die wil profiteren van zijn bestaande data, maar weinig tot geen budget heeft voor commerciële oplossingen
• Een regenachtige dag met weinig of niets te doen, behalve leren hoe je een zelfvoorzienende data stack bouwt

Ik stel voor om verschillende open-source oplossingen te gebruiken die, gecombineerd, een data stack kunnen creëren die aan minimale eisen voldoet:

• Taak orchestratie - Airflow
• Data integratie - Airbyte
• Data opslag - PostgreSQL
• Data transformatie - DBT

Kan lokaal of op afstand worden gestart, mits de instance voldoet aan de volgende eisen:

Cores: 2

RAM: 4GB (aanbevolen minimum RAM voor de nieuwste versie van Airflow)

Geheugen: minimaal 12GB (zonder rekening te houden met gedownloade data met Airbyte)

Docker (https://docs.docker.com/engine/install/ubuntu/) en Docker Compose (https://docs.docker.com/compose/install/) geïnstalleerd

Python: (exclusief 3.9, voor compatibiliteit met DBT)

Ubuntu: >=18.04

De rest van het installatieproces wordt gedaan in een lokale terminal/webserver