Ik bouw automatische etl data pipelines

Sommige informatie is automatisch vertaald.

Pakistan

Ik spreek Urdu, Engels

Gegevensingenieur

Ik ben een data-ingenieur met meer dan 3 jaar ervaring in het leveren van end-to-end dataoplossingen op cloudplatforms zoals Microsoft Azure. Ik specialiseer me in het bouwen van ETL/ELT-pijplijnen en...
Over deze dienst

Heb je data nodig van websites, of heb je data maar geen betrouwbaar systeem om het te verplaatsen? Spreadsheets, APIs en databases die nooit op één lijn liggen, rapporten die elke week handmatig opnieuw worden opgebouwd, pijplijnen die overnight kapot gaan? Dat los ik op.

Ik ben een Data Engineer met 4 jaar ervaring en een MSc in Big Data Analytics uit het VK. Ik bouw momenteel productie-pijplijnen voor grote online marktplaatsen, inclusief incrementele Redshift-fact-tabellen met meer dan 20M records.

Wat ik bouw:

  • Web scraping met BeautifulSoup, Requests, Selenium, Scrapy en Playwright, die websitegegevens rechtstreeks in jouw pijplijn voeren
  • ETL/ELT-pijplijnen in Python, PySpark, SQL en Airflow
  • Incremental loads zodat alleen nieuwe data wordt verwerkt
  • Warehouse loading naar Redshift, BigQuery of Azure
  • Schema-mismatch handling met AWS Lambda, zodat pijplijnen niet stilletjes falen
  • Data quality fixes voor dubbele en ontbrekende records
  • Power BI / Microsoft Fabric dashboards op jouw schone data

Waarom ik? echte productie-ervaring, nette gedocumenteerde code die jij bezit, en duidelijke updates bij elke stap.

Stuur me alsjeblieft een bericht voordat je bestelt zodat ik jouw project goed kan afbakenen.

Taal:

Engels

Technische expertise:

dbt (Data Build Tool)

•

Matillion

Expertise:

Datapijplijnen

•

ETL-ontwikkeling

•

Datawarehousing

Branche:

Gegevensanalyse

•

Marketing en adverteren