Ik bouw een python web scraper om schone data te extraheren
AI-agent en Data Extraction Engineer, MSc Data Science
Over deze dienst
Ik haal data uit websites die die niet willen prijsgeven.
Productlijsten, bedrijvengidsen, vacaturebanken, onroerend goed, prijzen, reviews, contactgegevens. Als het op een openbare pagina staat, kan ik het in een schone spreadsheet krijgen.
Wat dit anders maakt dan een basis scraper:
De meeste scrapers stoppen zodra een site content laadt met JavaScript, vreemd pagineert of de layout wijzigt. Ik gebruik Selenium voor dynamisch geladen pagina's en bouw foutafhandeling in zodat één slechte pagina de run niet stopt. Tijdens mijn werk heb ik de scrapers gebouwd achter ongeveer 30% van de databank van mijn bedrijf, dus dit is productiewerk, geen tutorial script.
Wat je krijgt:
- Schone, gededupliceerde data in CSV, Excel of JSON
- Precies de velden die je vraagt, geen vulkolommen
- Het Python script zelf op Premium, zodat je het zelf kunt herhalen
Stuur me een bericht voordat je bestelt met de URL van de site en de velden die je nodig hebt. Ik vertel je eerlijk of het scrapeable is en welk pakket het beste past. Als het niet de moeite waard is, zeg ik dat.
Technologie:
Python
•
Scrapy
•
Selenium
•
Beautiful Soup
•
Pandas
Techniek:
Geautomatiseerd

