Ik ontwikkel een web scraper

De vraag Waarom zou ik een web scraper nodig hebben? is een vraag waarvan het volledige antwoord een vraag is: Wil je data van een andere site voor je werkzaamheden?

Laten we ingaan op de details die zelden worden gezegd. Ik ontwikkel een web scraper in NODEJS of PHP op basis van de functies/vereisten van de te scrapen site.

NodeJS wordt gebruikt voor sites waarvan de content met javascript wordt gegenereerd. Onder dit:

• De puppeteer-bibliotheek wordt gebruikt, deze is ontwikkeld door Chrome en daarom zeer betrouwbaar.
• Sites die inloggen en toetsenbordinvoer vereisen, kunnen worden gescraped

OPMERKING VPS IS NODIG VOOR NODE

PHP is de eerste keuze voor elke scraping-klus, maar dient ook als fallback als Node.js niet werkt. Hiervoor:

• Een reeks bibliotheken is beschikbaar
• Sites met backend-gegenereerde content worden meestal overwogen

VOORDELEN:

1. Setup op mijn server voordat je bestelt.
2. Ik blijf in constant contact.
3. Data wordt teruggegeven in de vorm van een JSON API of grafische gebruikersinterface.
4. Als API is ingesteld, wordt de toegang beperkt

Neem contact met me op voordat je bestelt. Ik kijk ernaar uit.