Ik voer web scraping en data extractie uit van javascript-rijke sites

Ik haal gegevens van openbare pagina's, de soort die iedereen kan openen zonder account. Geen omzeiling van paywalls, en geen inloggegevens tenzij jij het account bezit en schriftelijk toestemming geeft. Ik lees de bron en de voorwaarden voordat ik citeer, en ik heb op basis daarvan jobs afgewezen.

Dat is het grootste deel van wat ik doe. Rotatie proxies, echte browser sessies in Playwright, menselijke timing, sessie- en cookiebeheer. Zware beveiliging kost meer tijd in plaats van een ander antwoord. Stuur de URL en ik vertel je welke tier het nodig heeft.

Standaard CSV, omdat het overal opent. Excel, JSON, een Google Sheet, of direct schrijven naar PostgreSQL, MySQL of BigQuery op verzoek. Kolomnamen en datatypes worden afgesproken voordat ik begin, zodat je niet achteraf headers hoeft te hernoemen.

Ja. Titel, prijs, korting, SKU, varianten, voorraad, verkoper, ratings en reviewtekst. Ik heb miljoenen marketplace listings verzameld van TikTok Shop, Kaufland, bol.com, La Redoute en B&Q. Catalogi van winkels worden gequoteerd op basis van aantal producten, niet per winkel.

Ja, hoewel een terugkerende build beter in mijn scraper build gig past dan in deze. Deze gig levert je een dataset. Als je dezelfde data dagelijks of wekelijks automatisch wilt ophalen, stuur me dan een bericht en ik stuur je de juiste link.

Voor een eenmalige pull maakt het niet uit, je hebt het bestand al. Voor alles dat terugkerend is, schrijf ik selectors die een layout verandering overleven en voeg ik een controle toe die waarschuwt wanneer een veld leeg begint te worden. Stille breuk is de failure waar je tegen moet beschermen.

Gemakkelijk zes cijfers. De enkele opdracht was meer dan 600.000 eigendomspercelen uit een county records systeem: gescraped, gestructureerd en gefilterd op de subset die de klant echt nodig had. Boven ongeveer 50.000 records geef ik een offerte op maat.

Twee dagen voor een eenvoudige bron op Basic formaat. Vijf dagen als er paginering en schoonmaak nodig is voor enkele duizenden records. Zeven dagen voor een JavaScript-rijke of beveiligde site bij volume. Ik geef je de datum voordat je bestelt en ik doe geen optimistische schattingen.

Deze gig levert de data, plus een notitie over hoe het verzameld is zodat de pull herhaald kan worden. Als je de scraper zelf wilt, met broncode die jij bezit en opnieuw kunt uitvoeren, is dat de build gig. Vertel het me voordat je bestelt en ik wijs je de weg.

Ja, als extra. Bedrijfs-e-mail, telefoon, website en namen van beslissers, waar ze openbaar beschikbaar zijn. De dekking varieert sterk per sector, en ik vertel je wat realistisch is voordat je bestelt in plaats van achteraf. Geef aan welke velden belangrijk zijn en ik prijs het in.