Ik bouw een SolidGate API naar BigQuery-pijplijn met historische backfill

Sommige informatie is automatisch vertaald.

Oekraïne

Ik spreek Oekraïens, Engels

Cloud Data Engineer, BigQuery, Snowflake, dbt, Python, ETL

Senior Data Engineer die zich specialiseert in schaalbare cloud data platforms en productieklare ETL/ELT pipelines. Ik help bedrijven bij het bouwen van betrouwbare data oplossingen met AWS, BigQuery...
Over deze dienst

Je betalings-, facturatie- of e-commerce-gegevens staan in een API, en elk rapport begint met een CSV-export?

Ik bouw productie-pijplijnen die data uit REST-API’s (Soligate, Stripe, Shopify, betaal gateways, CRM’s, eigen API’s) in Google BigQuery laden, inclusief volledige historische backfill.

Recente opdracht: een serverless ingestieplatform voor de API van een betalingsprovider. 6 endpoints, meer dan 12 maanden geschiedenis backfilled, ruwe JSON opgeslagen in cloud storage, uitgerold met CI/CD.

Wat je krijgt:

  • Incrementiele loads: geen duplicaten, veilige opnieuw-uitvoeringen
  • Historische backfill met paginering en rate-limit-afhandeling
  • Ongewijzigde ruwe laag, zodat tabellen altijd opnieuw opgebouwd kunnen worden
  • Schoone, getypte tabellen klaar voor Looker Studio of Power BI
  • Monitoring en foutmeldingen
  • Code in jouw repo + setup-documentatie

Stack: Python, BigQuery, Cloud Run/Functions of AWS Lambda, Airflow, dbt.

Meer dan 15 jaar ervaring in data engineering en ERP-integraties.

Stuur me een bericht met jouw bron-API en waar je rapport over wilt hebben. Ik geef je een vaste offerte.

Bestemmingsplatform:

Snowflake

•

Google BigQuery

•

PostgreSQL

•

MySQL

Tools & platforms:

Airbyte

•

AWS Glue DataBrew

Mijn portfolio

Andere Data engineering diensten die ik aanbied