Ik bouw een productie-GCP-datapijplijn met BigQuery en Dataflow
dataops engineer
Over deze dienst
Je data-pijplijn is traag, duur of valt stil en je bent het debuggen ervan midden in de nacht zat.
Ik bouw productie-klare GCP-pijplijnen die dagelijks 10TB+ verwerken zonder zweetjes.
WAT IK HEB GEBOUWD:
26TB ClickHouse-cluster (136 miljard rijen, 14 ms queries)
Real-time Kafka Go ClickHouse-invoer
GCP-pijplijnen: Cloud Function Pub/Sub Dataflow BigQuery
BigQuery-partitie en cluster-optimisatie (80% kostenbesparing)
WAT JE KRIJGT:
Eind-tot-eind GCP-pijplijn (Cloud Storage Dataflow BigQuery)
Serverless compute (Cloud Run / Cloud Functions)
Python + SQL productiescode
Monitoring, foutafhandeling, DLQ
Documentatie + 30-min overdrachtsgesprek
WAAROM IK:
Ik schrijf niet alleen code, ik draag zorg voor betrouwbaarheid
Productie-ervaring, geen tutorials
Ik vertel je wat JE NIET moet doen (bespaart geld)
Lekker laten we een pijplijn bouwen die echt werkt. Stuur me een bericht voordat je bestelt.

