BaiduSpider
De laatste maanden heb ik behoorlijk veel last en problemen met de BaiduSpider, op één of andere manier kan ik het niet voor elkaar krijgen om die te stoppen.
Hieronder een aantal pogingen die ik al uitgevoerd heb in de .htaccess bestand
Code:
##begin code
##start blocking potentially unwanted bots.
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_USER_AGENT} ^$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^GbPlugin [NC]
RewriteCond %{HTTP:Content-Disposition} \.php?[s\d]? [NC]
RewriteCond %{HTTP:Content-Type} image/.+ [NC]
RewriteCond %{HTTP_USER_AGENT} BOT/0\.[0-9]
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC,OR]
RewriteRule ^.* - [F,L]
##end code. bai bots.
Of op deze manier
Code:
##begin code
##start blocking potentially unwanted bots.
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_USER_AGENT} ^$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^GbPlugin [NC]
RewriteCond %{HTTP:Content-Disposition} \.php?[s\d]? [NC]
RewriteCond %{HTTP:Content-Type} image/.+ [NC]
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]
RewriteRule ^.* - [F,L]
##end code. bai bots.
En op deze manier
Code:
SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot
SetEnvIfNoCase User-Agent “BOT for JCE” bad_bot
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
In de robots.txt bestand het volgende geplaatst
Code:
User-agent: Baiduspider
Disallow: /
Geen idee meer wat nu verder te doen, en of dat de informatie van de code niet correct blijkt te zijn
Onderwerp Auteur
