Ik doe web scraping, data extractie, data mining en bouw een python web scraper
Backend API Engineer, Python, Integraties, Data
Over deze dienst
Je hebt data die op een website staat, in een dashboard, of verstopt zit in een berg PDFs. Ik zet het om in een schone tabel die je kunt gebruiken.
WAT IK DOE
- Web scraping van sites achter een login, met paginering of oneindige scroll
- Pagina's volledig gerenderd in JavaScript
- Data extractie uit PDFs, facturen en gescande documenten
- Leadgeneratielijsten opgebouwd uit directories en kaarten
- Bronnen die lay-out veranderen en blijven breken op de script die je al hebt
WAT JE KRIJGT
- CSV, Excel, JSON, of direct laden in je database
- Deduplicated en genormaliseerd, met velden genoemd zoals jij hebt gevraagd
- De python web scraper broncode, zodat je nooit aan mij vastzit
- Op Premium: een geplande taak en een melding zodra de bron verandert
HOE HET WERKT
Stuur de URL en een voorbeeld van de output die je wilt. Ik controleer de bron en bevestig scope en prijs voordat je iets bestelt.
WAT IK NIET DOE
Geen omzeiling van toegangsbescherming, geen verzamelen van persoonlijke data achter beveiligingen, geen scraping van sociale platforms om gebruikersgegevens door te verkopen.
Vertel me de bron en de velden die je nodig hebt. Binnen een dag weet je of het eenvoudig of rommelig is.
Technologie:
Python
•
Scrapy
•
Selenium
•
Beautiful Soup
•
Toneelschrijver
Techniek:
Geautomatiseerd
Veelgestelde vragen
Automatische vertaling
De site blokkeert bots. Kan je toch de data krijgen?
Vaak wel, terwijl ik binnen de regels blijf: respecteer snelheidslimieten en gedraag me als een normale gebruiker. Wat ik niet doe, is bescherming of toegangscontrole omzeilen.
Hoe vaak kan de scraper draaien?
Van eens per paar minuten tot vaker, afhankelijk van hoe de bron zich gedraagt. Planning is inbegrepen in het Premium pakket.
Wat gebeurt er als de site verandert en het breekt?
Daarvoor is de alert. Je hoort het van mij, niet van een lege spreadsheet drie weken later.
Kun je het direct in onze database laden?
Ja. PostgreSQL, MySQL, Google Sheets, Airtable of een S3-bucket.
Krijg ik de code?
Ja, vanaf het standaardpakket en hoger. Het is jouw script en je kunt het zonder mij draaien.
Kun je data extractie doen uit PDFs en gescande documenten?
Ja. Tekst-PDF's zijn eenvoudig, scans vereisen OCR en ik vertel je de realistische nauwkeurigheid voordat je bestelt.
Maak je leadgeneratielijsten?
Ja, uit openbare bedrijfsdirectories en kaarten, met de velden die je nodig hebt. Ik verkoop geen kant-en-klare persoonlijke datalijsten.
Hoe weet ik dat de data compleet is?
Elke levering bevat een rijen telling ten opzichte van de bron en een notitie over alles wat niet kon worden opgehaald en waarom.

