Ik bouw grote datastromen met airflow op google cloud

Sommige informatie is automatisch vertaald.

Pakistan

Ik spreek Engels, Urdu

3 bestellingen voltooid

Data Engineer voor BigQuery, Airflow en AI-agent tooling

Ik ben een data engineer die productie-pijplijnen bouwt op Google Cloud. Ik draai 12 Airflow DAGs op Cloud Composer die dagelijks data uit 9+ marketing- en CRM-platforms naar BigQuery innemen, en ik b...
Over deze dienst

Nodig betrouwbare, geautomatiseerde datastromen op Google Cloud? Ik ontwerp en implementeer production-grade ETL/ELT-pijplijnen die je data volgens schema in BigQuery laden, zonder handmatig werk.


Wat je krijgt:

  • Apache Airflow DAGs op Cloud Composer
  • Python Cloud Functions (Gen2) voor API-extractie
  • Strikte BigQuery-schemahandhaving en data-validatie
  • Inloggegevens beveiligd in Secret Manager
  • Herstel bij fouten en duidelijke foutlogboeken
  • Optionele CI/CD die alleen veranderde DAGs deployed
  • Documentatie zodat jouw team het eigen maakt


Waarom ik: Momenteel draai ik productie-Airflow met 12 DAGs die uit meer dan 9 platforms binnenhalen via één herbruikbaar pijplijnpatroon, dus jij krijgt een bewezen structuur, geen experiment.

Stuur me je data sources en bestemming voordat je bestelt en ik bevestig de scope en geschiktheid.

Bestemmingsplatform:

Google BigQuery

Tools & platforms:

Google Cloud Dataflow