Door categorieën bladeren
Ontdekken
Fiverr Pro
Nederlands
$
USD
Ik bouw automatiseerde Python ETL-pijplijnen van REST-API’s naar BigQuery
Python data engineer voor BigQuery ETL-pijplijnen en API-integraties
Ik bouw automatische datapijplijnen die handmatige exporten en spreadsheetrapportages vervangen. Ik ben een Python-data-ingenieur met meer dan 3 jaar praktijkervaring in het verplaatsen van data vanui...
Over deze dienst
Wordt jouw data vastgehouden in API's, databases en spreadsheets die iemand elke week handmatig exporteert? Ik vervang dat door een geautomatiseerde Python-pijplijn die het betrouwbaar in BigQuery geladen krijgt.
Ik ben een Python data engineer met meer dan 3 jaar ervaring. In mijn huidige functie bouw en draai ik productie-pijplijnen die data uit meerdere platform-API's in een BigQuery-warehouse samenbrengen.
Wat ik bouw
- Python ETL vanaf REST-API's, PostgreSQL/MySQL, CSV/Excel of Google Sheets naar BigQuery
- Incrementele laden met sleutel-gebaseerde merges om dubbele rijen bij herhaalde runs te voorkomen
- Retries, rate-limit handling, logging en data validatie
- Gepland met Cloud Scheduler en Cloud Run, of cron op jouw server, verpakt in Docker
- Schoon rapportagetabellen in SQL voor Looker Studio of elk BI-instrument
Hoe het werkt
- Jij deelt API-documentatie of voorbeelddata en verleent toegang via jouw eigen serviceaccount
- Ik bevestig velden, planning en pakket voordat ik begin
- Jij ontvangt de code, een installatiehandleiding en een draaiende pijplijn in jouw project
Niet inbegrepen: betaalde connector-licenties, API-toegang die je niet hebt, of voortdurende monitoring (zie extras).
Stuur me een bericht met jouw bron en bestemming en ik reik het juiste pakket aan.
Bestemmingsplatform:
Google BigQuery
•
PostgreSQL
•
MySQL
Tools & platforms:
Overige
Veelgestelde vragen
Automatische vertaling
Wat heb je van mij nodig om te beginnen?
API-documentatie of voorbeeldbestanden, de velden die je nodig hebt en jouw BigQuery-project. Verleen toegang via een serviceaccount of OAuth in jouw eigen account met de minimale permissies die nodig zijn. Stuur me nooit je belangrijkste accountwachtwoord.
Kun je werken met databases anders dan BigQuery?
Ja. Ik laad ook data in PostgreSQL en MySQL, en ik heb Oracle PL/SQL naar PostgreSQL-migraties met Python geautomatiseerd.
Blijft de pijplijn draaien na levering?
Standaard- en Premium-pijplijnen zijn gepland, veilig om opnieuw uit te voeren en loggen elke run; Premium stuurt ook foutmeldingen. Als de bron-API later verandert, zijn updates beschikbaar via de 30-dagen support extra of een aangepaste offerte.
Welke gegevensbronnen kun je verbinden?
Elk REST- of GraphQL-API met documentatie en inloggegevens, PostgreSQL, MySQL, CSV/Excel, Google Sheets en Cloud Storage. Als jouw bron geen officiële API heeft, stuur me eerst een bericht en ik bevestig of het haalbaar is.
Heb ik mijn eigen Google Cloud-account nodig?
Ja. De pijplijn draait in jouw GCP-project, dus jij bezit de code, data en facturering. Ik leid je door elke benodigde setup.
Hoeveel kost BigQuery mij?
Het hangt af van de hoeveelheid data, opslag, query's en de verversingssnelheid. Ik partitioneer en clusteren tabellen en ontwerp queries zodat de kosten onder controle blijven. De facturering blijft in jouw eigen Google Cloud-account.
Hoe vaak kan de data worden ververst?
Uur-, dag- of op een aangepast schema, beperkt door de snelheidslimieten van jouw bron-API. Real-time streaming is een maatwerkofferte.
Hoeveel historische data kun je laden?
Zoveel als de bron-API toelaat. Premium bevat een backfill van 12 maanden, en de Historical backfill-extra voegt tot 24 extra maanden toe.
