Ik scrape een openbare website naar een Excel- of csv-bestand
Over deze dienst
Vertel me welke openbare website en welke velden je nodig hebt, en ik lever ze als een schoon XLSX- en CSV-bestand.
Elke rij behoudt zijn bron-URL en de tijd waarop deze is verzameld, zodat je elke waarde kunt vergelijken met de live pagina. Ik verwijder dubbele gegevens, controleer op lege velden en voeg een samenvatting toe. Mijn scripts sturen één verzoek tegelijk met een pauze, zodat de site nooit overbelast raakt.
Op mijn voorbeeld heb ik 500 producten verzameld uit 44 categorieën zonder dubbele of lege waarden. Het staat in mijn portfolio.
Wat ik niet doe: sites achter een login, persoonlijke gegevens over individuen (namen met e-mails of telefoonnummers), of anything dat de voorwaarden van de site duidelijk verbieden. Stuur me eerst een bericht met de URL en ik vertel je eerlijk of het mogelijk is en wat het kost. Ik werk in het Engels en Frans.
Technologie:
Python
•
Excel
•
Beautiful Soup
•
Toneelschrijver
•
Pandas
Techniek:
Geautomatiseerd
Veelgestelde vragen
Automatische vertaling
Is webscraping legaal?
Het verzamelen van openbare, niet-persoonlijke data op een beleefde manier is in de meeste gevallen prima. Ik controleer eerst de voorwaarden en robots.txt van de site, ik scrape nooit achter een login en ik verzamel geen persoonlijke gegevens over individuen. Als een site niet toegankelijk is, vertel ik dat voordat je betaalt.
Kun je een site scrapen die een login vereist of een captcha heeft?
Nee. Ik werk alleen op pagina's die iedereen kan openen zonder account, en ik omzeil geen captchas of anti-bot muren. Als de data via een officiële API of export beschikbaar is, gebruik ik dat en vertel ik je dat.
Wat als sommige waarden verkeerd of ontbrekend zijn?
Elke rij heeft zijn bron-URL, zodat je me naar de exacte pagina kunt wijzen. Ik pas de extractie aan en voer het dezelfde dag opnieuw uit. Onbeperkte revisies totdat het bestand overeenkomt met de site.

