Ik maak een geplande web scraper en data pipeline met schone, gededupliceerde output

Wil je elke dag of week verse web data zonder handmatig een script opnieuw te draaien? Ik maak een scraper die automatisch op een timer draait, verzamelt, schoonmaakt, dubbele items verwijdert en je een bestand of database geeft die klaar is voor gebruik.

Wat je krijgt: een Python scraper (Playwright of Scrapy waar nodig), automatische runs op jouw machine of server, validatie van elk record, een unieke sleutel per item zodat niets twee keer verschijnt, retries als een site traag is, en een log die in duidelijke woorden aangeeft of een run mislukt is en waarom. Output: CSV, XLSX, JSON of SQLite.

Waarom ik: voor een klant heb ik een vergelijkbare pipeline gebouwd: dagelijkse inname van openbare gegevens, duplicaatverwijdering, regelgebaseerde scoring, automatische runs en crashherstel. Eén echte maandelijkse run verwerkte 318.962 records in ongeveer 34 minuten met 0 fouten. De klant is vertrouwelijk.

Niet inbegrepen: sites achter een login die jij niet bezit, CAPTCHA-bypassing, data die de voorwaarden van de site verbieden te verzamelen, hosting- of proxykosten. Ik vertel je vooraf of een site niet geschikt is.