Ik bouw een SolidGate API naar BigQuery-pijplijn met historische backfill
Cloud Data Engineer, BigQuery, Snowflake, dbt, Python, ETL
Over deze dienst
Je betalings-, facturatie- of e-commerce-gegevens staan in een API, en elk rapport begint met een CSV-export?
Ik bouw productie-pijplijnen die data uit REST-API’s (Soligate, Stripe, Shopify, betaal gateways, CRM’s, eigen API’s) in Google BigQuery laden, inclusief volledige historische backfill.
Recente opdracht: een serverless ingestieplatform voor de API van een betalingsprovider. 6 endpoints, meer dan 12 maanden geschiedenis backfilled, ruwe JSON opgeslagen in cloud storage, uitgerold met CI/CD.
Wat je krijgt:
- Incrementiele loads: geen duplicaten, veilige opnieuw-uitvoeringen
- Historische backfill met paginering en rate-limit-afhandeling
- Ongewijzigde ruwe laag, zodat tabellen altijd opnieuw opgebouwd kunnen worden
- Schoone, getypte tabellen klaar voor Looker Studio of Power BI
- Monitoring en foutmeldingen
- Code in jouw repo + setup-documentatie
Stack: Python, BigQuery, Cloud Run/Functions of AWS Lambda, Airflow, dbt.
Meer dan 15 jaar ervaring in data engineering en ERP-integraties.
Stuur me een bericht met jouw bron-API en waar je rapport over wilt hebben. Ik geef je een vaste offerte.
Mijn portfolio
Andere Data engineering diensten die ik aanbied
Veelgestelde vragen
Automatische vertaling
Waar draait de pipeline?
In jouw eigen GCP- of AWS-account. Jij bezit de code en de data.
Wat gaat BigQuery me kosten?
Voor kleine en middelgrote volumes is het meestal laag. Ik schat het in voordat we beginnen.
Wat als de API verandert?
Raw JSON wordt zoals het is opgeslagen, zodat nieuwe velden loads niet breken en geschiedenis opnieuw verwerkt kan worden.
Kun je ook naar Snowflake of Redshift laden?
Ja, via een aangepaste aanbieding.
