很多時(shí)候，我們都不會(huì)去把百度蜘蛛去屏蔽掉，但是也有需要去屏蔽一些不必要的抓取，比如一些大型的網(wǎng)站門(mén)戶(hù)網(wǎng)，有登錄頁(yè)面或者是注冊(cè)頁(yè)面，還有一些不想讓百度蜘蛛抓取文件都可以利用robots協(xié)議來(lái)完成，那么重慶SEO鵬鵬就講解哈屏蔽百度蜘蛛的具體方法。
一、robots協(xié)議
robots協(xié)議相信大家都不陌生，首先既然要用到robots協(xié)議，那么我們就要先創(chuàng)建一個(gè)記事本，把記事本重命名為robots，然后我們寫(xiě)下robots協(xié)議具體如下：
User-agent: BadBot
Disallow: /
然后保存后通過(guò)FTP工具上傳到網(wǎng)站根目錄即可。
二、robots Meta標(biāo)簽
robots?Meta標(biāo)簽也可以屏蔽百度蜘蛛抓取，這種方法與robots類(lèi)似，但是還是部分搜索引擎不支持，robots?Meta用來(lái)對(duì)某幾個(gè)頁(yè)面單獨(dú)設(shè)置時(shí)使用。其代碼是寫(xiě)在“<head></head>”之間，如下所示：
<head>
<meta?name=”robots”?content=”index,follow”?/>
</head>
三、.htaccess屏蔽
如果說(shuō)使用robots協(xié)議無(wú)法全部屏蔽你的網(wǎng)站，那么你可以在你的網(wǎng)站根目錄下找到.htaccess屏蔽代碼如下：
方法1：
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]
RewriteRule .* – [F]
方法2：
SetEnvIfNoCase User-Agent “^Baiduspider” bad_bot
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
總結(jié):百度蜘蛛屏蔽方法有許多，以上方法可參考，重慶SEO鵬鵬覺(jué)得還是以robots協(xié)議較好，所以其他方法及時(shí)可以用，但是也不建議去做，因?yàn)橐徊叫⌒母沐e(cuò)了，就會(huì)導(dǎo)致麻煩不斷！
本文來(lái)源：http://www.pengpengseo.com/
