Door categorieën bladeren
Ontdekken
Fiverr Pro
Nederlands
$
USD
Ik bouw een python web scraper voor javascript-rijke en beveiligde sites
Fullstack webdeveloper
Ik bouw AI chatbots, automatiseringen en websites die leads genereren en uren handmatig werk besparen.
AI chatbots: website assistenten die antwoorden op je FAQ en prijzen, klanten boeken en leads stu...
Over deze dienst
Iedereen kan een script schrijven dat één keer werkt op zijn laptop. Je bent hier omdat de site terugvecht.
Ik pak de scrapes aan die breken: content die alleen bestaat nadat JavaScript wordt uitgevoerd, pagina's achter een challenge, endpoints die halverwege een run 403 teruggeven.
WAT IK AANPAK
JavaScript-gerenderde sites via een echte headless browser wanneer het HTML alleen niets bevat.
Sites die naïeve scripts blokkeren: juiste vertragingen, geroteerde headers, ingebouwde proxy-ondersteuning vanaf het begin.
Paginalijst, filters, categorieën en detailpagina's voor de velden die daar alleen bestaan.
Uitvoer in de vorm die jij gebruikt: CSV, Excel, Google Sheets, JSON, PostgreSQL of jouw API.
SCRAPERS DIE OVERLEVEN IN PRODUCTIE
De interessante fouten komen later: geheugenlekkages totdat het proces wordt beëindigd, headless browsers die zich opstapelen als zombies, een site die een challenge toevoegt en jouw check een gelukkige 200 teruggeeft op een dode pagina. Ik bouw ertegen: retries met backoff, herstart bij crash, logrotatie, Telegram alerts en checks die content verifiëren in plaats van statuscodes.
Ik doe geen login-gegevens die jij niet bezit of content achter een betaalmuur.
Technologie:
Python
•
Poppenspeler
•
Scrapy
•
Selenium
•
Beautiful Soup
Techniek:
Geautomatiseerd
Mijn portfolio
Veelgestelde vragen
Automatische vertaling
De site blokkeert bots. Kan je het toch doen?
Vaak wel, met juiste vertragingen, geroteerde headers, een echte browser waar nodig en ingebouwde proxy-ondersteuning. Maar ik controleer het doel voordat je bestelt en vertel je of het niet realistisch is. Ik neem het geld niet aan en ontdek daarna dat het niet mogelijk is.
Blijft het werken als de site verandert?
Scrapers breken wanneer de markup van de target verandert; dat geldt voor elke scraper die ooit is geschreven. Ik houd de selectors op één plek zodat een fix snel is, en bij Premium krijg je een alert als een run niets oplevert in plaats van stilletjes lege rijen te verzamelen.
Is scraping legaal?
Publieke data die op een redelijke snelheid wordt verzameld, is dat meestal, maar het hangt af van de voorwaarden van de site en jouw jurisdictie, en ik ben een developer, geen jurist. Ik zal geen achter logins scrapen die niet van jou zijn of persoonlijke data verzamelen tegen de voorwaarden van een site.
