Data pipeline, web scraper bouwen met python, sql, etl, elt, dbt

Ik ben een Database Engineer met bewezen expertise in het bouwen van robuuste automatiseringstools met Python en Node.js. Ik specialiseer me in het extraheren van gestructureerde en ongestructureerde data uit APIs, interne endpoints en dynamische websites, en deze omzetten naar bruikbare formaten zoals Excel, CSV en JSON. Mijn tools maken gebruik van Cheerio, Axios, ExcelJS, Puppeteer, BeautifulSoup en Pandas, ontworpen om nulls te verwerken, verzoeken te throttelen en te herstellen van netwerkproblemen, terwijl ik data nauwkeurig en consistent houd.

Naast scraping ontwerp ik end-to-end data pipelines die het verzamelen, transformeren en opslaan van data automatiseren voor analyseklare outputs. Mijn met Docker gecontaineriseerde omgevingen zorgen voor draagbaarheid over systemen, en mijn werk met HTML parsing, API-interactie en gestructureerde ETL-flows bereidt teams voor om efficiënt op te schalen. Als je handmatige data verzameling wilt automatiseren, API feeds wilt analyseren of een scraping systeem wilt bouwen dat in je data workflow past, ben ik klaar om je data tot leven te brengen.