Ik bouw scrapers die ook na de eerste week blijven werken.
Iedereen kan een requests-loop schrijven die maar één keer werkt. Het tijdrovende deel begint daarna: de site verandert zijn markup, het inloggen verloopt, een response komt terug met 200 maar met een captcha in de body, de paginering stopt stilletjes bij pagina 40.
Wat ik daaraan doe:
- De response valideren, niet alleen de statuscode. Een 200 met een lege lijst is een mislukkeling, geen succes.
- Rauwe responses opslaan vóór het parsen, zodat je bij iets raars opnieuw kunt parsen zonder opnieuw te scrapen.
- Back-off en retry bij de mislukkingen die het verdienen, en luid mislukt bij de gevallen die dat niet doen.
- Gestructureerde fouten, zodat je weet of het kapot ging of de site uitviel.
Ik heb een scrape gedaan van 100 producten in ongeveer 10 seconden vanaf een enkele pagina, en ik heb batch-processors geschreven die een dozijn bestanden tegelijk aankunnen zonder de originelen kwijt te raken.
Stuur me de URL en welke velden je nodig hebt. Als de site achter een login zit, laat het me weten en we regelen toegang voordat we een offerte maken.