Door categorieën bladeren
Ontdekken
Fiverr Pro
Nederlands
$
USD
Ik maak een web scraper en data pipeline
Golang backend developer
Golang ontwikkelaar met meer dan 3 jaar ervaring in het bouwen van robuuste en schaalbare backend systemen — microservices, APIs en real-time applicaties.
Belangrijke vaardigheden:
• Golang (Gin, Ech...
Over deze dienst
Ik bouw betrouwbare data pipelines in Go: websites scrapen of API's monitoren, de data schoonmaken en structureren, en deze plaatsen waar je maar wilt, zoals in een database, een Telegram-bot of een third-party platform via de API. Ik heb systemen gebouwd die continu vracht-/logistieklijsten monitoren, YouTube kanaal-analyses bijhouden en gepakte data publiceren naar externe platforms via aangepaste API-clients.
Wat ik voor jou kan bouwen:
- Web scrapers (HTTP-gebaseerd of browserautomatisering voor JS-zware/beschermde sites)
- Filtering van duplicaten en data-normalisatie
- Geplande/continue monitoring met instelbare intervallen
- Aangepaste API-clientbibliotheken voor third-party platforms (authenticatie, verzoeken, foutafhandeling)
- Opslag in PostgreSQL/MySQL met historische tracking en filters
- Timing en anti-detectie logica die op mensen lijkt voor sites die gevoelig zijn voor botverkeer
- Resultaten leveren via Telegram, webhook of directe publicatie op platformen
Tech stack: Golang, HTTP/browser automatisering, PostgreSQL/MySQL, REST API integratie, Docker.
Vertel me de bron site/API en het doelplatform, en ik bepaal de exacte aanpak.
Technologie:
Selenium
•
Beautiful Soup
•
Toneelschrijver
•
Pandas
•
Golang
Techniek:
Geautomatiseerd
Mijn portfolio
Veelgestelde vragen
Automatische vertaling
Kun je sites crawlen die login vereisen of anti-bot bescherming hebben?
Ja, afhankelijk van de site. Ik gebruik browserautomatisering met gedrag dat op mensen lijkt voor JS-zware of beschermde sites. Stuur me de doel-URL en ik bevestig de juiste aanpak voordat je bestelt.
Hoe ga je om met sites die hun layout in de loop van de tijd veranderen?
Scrapers worden zo gebouwd dat ze zo veerkrachtig mogelijk zijn, maar layoutwijzigingen kunnen uiteindelijk elke scraper breken. Ik raad een korte proefrun aan na levering, en doorlopende onderhoud kan apart worden geregeld indien nodig.
Kan de gescrapete data direct in mijn eigen systeem/database worden gepusht?
Ja — Standaard- en Premium-pakketten omvatten opslagintegratie (PostgreSQL/MySQL) en in Premium een aangepaste API-client om data direct in een third-party platform te publiceren.
Is dit legaal / wordt mijn account geblokkeerd als ik dit gebruik?
Ik bouw beveiligingen in zoals willekeurige vertragingen en gedrag dat op mensen lijkt om detectierisico te minimaliseren, maar de legaliteit van scraping en naleving van de ToS van het platform hangen af van de specifieke target site — die verantwoordelijkheid ligt bij de koper.
Hoe vaak kan de scraper draaien — eenmalig of continu?
Beide worden ondersteund. Basis dekt eenmalige uitvoering; Standaard en Premium omvatten continue/geplande monitoring met instelbare intervallen tot de limiet van pagina's/bronnen in je pakket.
