Ik bouw een geospatiale etl-pipeline

Sommige informatie is automatisch vertaald.

Pakistan

Ik spreek Engels

Data- en ML-ingenieur

Ik ben een Data en ML engineer met meer dan 5 jaar ervaring in het bouwen van ETL-pijplijnen voor verschillende data bronnen, waaronder geospatiale, financiële en gezondheidszorg data. Ik ben gespecia...
Over deze dienst

Heb je te maken met geospatiale data die eeuwig duurt om te verwerken of je machine doet crashen?

Ik bouw schone, betrouwbare geospatiale data pipelines zonder uren debugging van raster tiles, geheugenfouten en format hoofdpijn.

Wat ik breng:

  • Meer dan 3 jaar ervaring met het bouwen van productie pipelines die tientallen miljoenen records verwerken
  • Geoptimaliseerde raster tile verwerking met windowed reads, in chunks werkstromen, formatconversies die niet crashen om 3 uur 's nachts
  • Ervaring met EO datasets (Copernicus, Sentinel) en sociaaleconomische data (US Census, World Bank, Eurostat)
  • Productie-implementaties op AWS en Snowflake

Waar ik mee kan werken:

  • Elk formaat GeoTIFF, Shapefile, GeoJSON, CSV, Parquet, API feeds
  • Elke doel-database, S3, platte bestanden, dashboards

Wat je krijgt:

  • Schoon, gedocumenteerde Python code
  • Geverifieerde, getransformeerde data klaar voor analyse
  • Geoptimaliseerde workflows die je RAM niet opeten
  • Duidelijke overdracht met instructies

Opmerking: Geen real-time streaming of mobiele apps.

Weet je niet welk pakket het beste past? Stuur me eerst een bericht!

Expertise:

API integratie

Big data

Data validatie

etl

Technologie:

Amazon Redshift

apache vonk

Python

SQL

Snowflake