Ik bouw een full stack open source productie data pipeline met cicd automatisering

Sommige informatie is automatisch vertaald.

Pakistan

Ik spreek Urdu, Engels

Gegevensingenieur

Data Engineer gespecialiseerd in het bouwen van end-to-end, self-hosted data lakehouses op Kubernetes met open-source technologieën. Ik heb een volledige productieklare data platform ontworpen en behe...
Over deze dienst

Ben je op zoek naar flexibele ondersteuning bij data engineering, of het nu gaat om een

snelle oplossing of het bouwen van een volledige pipeline? Ik bied drie niveaus van betrokkenheid:


Uren Support Snelle debugging, kleine Spark/ETL taken of consultatie

Parttime Betrokkenheid Gerichte 20-uur pipeline- of dbt-modelontwikkeling

Volledige projectbouw Complete end-to-end lakehouse setup (50+ uur)


Ik ben een Data Engineer met praktische ervaring in het bouwen van een volledige zelf-gehoste

data lakehouse op Kubernetes, die ongeveer 5 miljoen rijen verwerkt met Apache Spark,

Apache Iceberg, Trino, dbt-Trino en Google BigQuery.


Wat ik lever:

Apache Spark ETL pipelines voor ingestie, opschoning en transformatie

Data kwaliteit checks met PyDeequ

dbt-Trino Gold layer modellen Star Schema, Data Vault, OBT, Marts

Dagster orkestratie en CI/CD automatisering

Volledige documentatie (Standaard & Premium tiers)


Stuur me een bericht voordat je bestelt, zodat we je specifieke wensen kunnen bespreken.

Warehouse Platform:

Snowflake

BigQuery

Databricks

Projecttype:

Nieuwbouw

Mijn portfolio

Gerelateerde tags