Ik ga een data engineering pijplijn bouwen

Of je nu te maken hebt met grote datasets, ETL-processen bouwt of cloudservices integreert, ik kan een op maat gemaakte oplossing maken die bij jouw behoeften past. Met jarenlange ervaring als Data Engineer zorg ik ervoor dat jouw pipeline geoptimaliseerd, veilig en schaalbaar is om groeiende datalasten aan te kunnen.

Wat ik aanbied:

• Efficiënte ETL (Extract, Transform, Load) processen
• Data schoonmaken, transformeren en samenvoegen
• Data inladen vanuit meerdere bronnen (API's, databases, bestanden)
• Integratie met cloudservices voor schaalbaarheid
• Real-time of batch verwerkingspipelines
• Monitoring en alerting instellen voor data pipelines

Technologieën en talen die ik gebruik:

Talen:

o  Python

o  SQL

o  Scala

o  Shell scripting

Big Data tools:

o  Apache Spark

o  Apache Hadoop

o  Apache Kafka

o  Apache Airflow

o  DBT (Data Build Tool)

o  Snowflake

Databases:

o  PostgreSQL

o  MySQL

o  MongoDB

o  Redis

o  Amazon Redshift

 Cloud services:

Amazon Web Services (AWS)

• S3
• EC2
• Lambda
• RDS
• Glue

Google Cloud Platform (GCP)

• Big Query
• Cloud Storage
• Dataflow
• Pub/Sub

Microsoft Azure

• Azure Data Lake
• Azure Blob Storage
• Azure Databricks
• Azure SQL Database

Laat me je helpen de kracht van je data te ontsluiten.

Groeten,

Salman Sajid