Ik doe professionele data engineering etl creatie
AWS GCP PYTHON Data Engineering
Over deze dienst
Cloud-Based ETL Developer (AWS + GCP) | Data Pipelines | Automation | Big Data
Ben je op zoek naar een betrouwbare cloud ETL ontwikkelaar om je data pipelines te bouwen, automatiseren of optimaliseren op AWS of Google Cloud?
Ik help bedrijven bij het ontwerpen van schaalbare, kostengeoptimaliseerde en productieklare ETL-workflows met behulp van moderne cloud-native tools.
Wat ik voor jou kan doen
End-to-end ETL/ELT pipelines bouwen (batch of streaming)
On-prem ETL taken migreren naar AWS / GCP
API's, databases, data lakes, SaaS tools integreren
Data transformeren & schoonmaken met Python, SQL, dbt, Pandas
Workflows orkestreren met Airflow / Cloud Composer / Step Functions
Streaming pipelines ontwikkelen met Pub/Sub / Kinesis
Serverless ETL maken met Lambda / Cloud Functions
Data Lakehouse oplossingen bouwen met BigQuery / Redshift / Athena
CI/CD voor ETL (GitHub Actions, Cloud Build, CodePipeline)
Cloud Stack waarmee ik werk
AWS
- AWS Glue, Lambda, Step Functions
- S3, Redshift, Athena, EMR
- API Gateway, EventBridge
- DynamoDB, RDS, Aurora
GCP
- Cloud Composer (Airflow)
- Cloud Functions, Cloud Run
- Cloud Storage
- Pub/Sub
Wat je ontvangt
- Productieklare ETL pipeline
Technologie:
apache vonk
•
Python
•
SQL
•
Snowflake
•
NoSQL
•
Apache Airflow
