Door categorieën bladeren
Ontdekken
Fiverr Pro
Nederlands
$
USD
Ik blokkeer ai bots en scrapers op je website met robots.txt
Pavel V
Over deze dienst
Automatische vertaling
Ik werk je robots.txt-bestand bij om de top 50+ meest agressieve AI-webscrapers en crawlers te blokkeren (inclusief OpenAI, Anthropic en Common Crawl). Perfect voor kleine blogs of portfolio’s die direct privacy willen.
Respecteer de rechten van derden
Let erop dat het tegen het beleid van Fiverr voor freelancers is om thema's, templates of andere elementen in het geleverde werk op te nemen die inbreuk maken op de rechten van derden of toepasselijke wetten. Lees er meer over in onze Gids voor verantwoorde digitale creatie.
Maak kennis met Pavel V
Pavel V
Founder WebflowForge Driving Growth with Web Development and AI Automations
- Afkomstig uitIsraël
- Lid sindsjul 2024
Talen
Russisch, Hebreeuws, Engels
Founder of Webflowforge with 9+ years of experience building scalable web platforms and digital products. I specialize in Webflow, WordPress, automations, AI solutions, and RevOps—combining UX, development, and business logic to create high-performing, conversion-focused systems.
I help with UI/UX, advanced integrations, CMS/database architecture, and full platform builds.
From idea to execution, I turn concepts into production-ready, lead-generating machines built for growth, performance, and scale.
Automatische vertaling
Mijn portfolio
Veelgestelde vragen
Automatische vertaling
Zorgt het blokkeren van AI-bots voor een lagere ranking in Google Search?
Nee. Standaard SEO (Google, Bing) en het blokkeren van AI-bots zijn twee verschillende dingen. We gebruiken specifieke "User-Agent"-commando’s die AI crawlers (zoals GPTBot of CCBot) vertellen om weg te blijven, terwijl Google’s hoofdzoekindex je site normaal blijft crawlen. Je menselijke verkeer wordt niet beïnvloed.
Wat is het verschil tussen robots.txt en llms.txt?
Denk aan robots.txt als het "Verboden Toegang"-bordje — het vertelt AI-bots dat ze je data niet mogen scrapen voor training. Denk aan llms.txt als een "Inhoudsopgave" — het geeft een overzichtelijke, markdown-vriendelijke versie van je site-informatie voor AI-zoekmachines (zoals Perplexity of ChatGPT Search) zodat ze je site kunnen vinden.
Moet ik mijn inloggegevens van mijn website aan je geven?
Dat hangt af van je comfortniveau. Ik kan inloggen op je WordPress/Shopify/Hosting panel en het voor je regelen (snel), of ik kan je de aangepaste bestanden en een stapsgewijze video geven zodat je het zelf kunt uploaden.
Kun je specifieke AI-bots blokkeren maar anderen doorlaten?
Zeker. Als je OpenAI wilt blokkeren voor training op jouw content, maar Perplexity wilt toestaan om je site in de zoekresultaten te tonen, pas ik de code specifiek aan op die wensen.
Is dit een eenmalige oplossing of moet ik het blijven updaten?
Dit is een permanente setup. Maar nieuwe AI-bots worden elke maand uitgebracht. Het bestand dat ik lever bevat de meest uitgebreide lijst van scrapers tot 2026. Ik raad aan om elke 6 maanden een snelle "health check" te doen om te kijken of er geen nieuwe, agressieve bots zijn bijgekomen.
