Ik maak een veerkrachtige web scraper met anti-bot handling en planning

Public data scrapen is over het algemeen prima, maar hangt af van de voorwaarden van de site en je jurisdictie. Ik scrapen alleen openbare data, nooit achter een login of persoonlijke data, en jij bent verantwoordelijk voor het wettelijk gebruik. Als een doelwit riskant lijkt, vertel ik dat voordat je bestelt.

Layoutwijzigingen zijn normaal en worden gedekt door revisies binnen de leveringstermijn. Voor geplande pipelines bouw ik retry en alerting in zodat je weet of een run mislukt, en ik bied doorlopende onderhoud als een maatwerk aanbod als je wilt dat ik het op lange termijn blijf laten draaien.

Jouw keuze. Het basispakket levert een script dat je zelf uitvoert. Het Autopilot pakket draait volledig onbemand in de cloud of op je server volgens de planning die je instelt, zodat je er nooit naar om hoeft te kijken.

CSV of JSON standaard, of rechtstreeks geleverd in Google Sheets, Supabase, Postgres of je eigen API. Vertel me je voorkeur en ik pas het aan.