一、對淘寶的具體robots文件分析
User-agent:? Baiduspider ? ? ? ?以下五條都是針對百度搜索引擎來說
Allow:? /article? ? ? ? ? ? ? ? ? ? ? ? ? ? 允許爬取article的整個目錄，即淘寶中的文章例如淘寶頭條和一些攻 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?略等
Allow:? /oshtml ? ? ? ? ? ? ? ? ? ? ? ? ? 允許爬取oshtml的整個目錄，也是位于網(wǎng)站地圖下的全球購，愛逛街 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 等列表頁面
Allow:? /wenzhang ? ? ? ? ? ? ? ? ? ? 允許爬取wenzhang的整個目錄，內(nèi)容可能與article類似
Disallow:? /product/ ? ? ? ? ? ? ? ? ? 不允許爬取product的整個目錄，即淘寶的商品等。
Disallow:? / ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?以上沒有提及的其他目錄都是不允許爬取的
User-Agent:? Googlebot? ? ? ? ? ? ?以下八條都是針對谷歌搜索引擎來說
Allow:? /article ? ? ? ? ? ? ? ? ? ? ? ? ? ?同百度
Allow:? /oshtml ? ? ? ? ? ? ? ? ? ? ? ? ? ?同百度
Allow:? /product ? ? ? ? ? ? ? ? ? ? ? ? ?同百度
Allow:? /spu? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 允許爬取spu的整個目錄，SPU是商品信息聚合的最小單位，是一組可 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?復用、易檢索的標準化信息的集合，該集合描述了一個產(chǎn)品的特性。 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?通俗點講，屬性值、特性相同的商品就可以稱為一個SPU。 這個目錄 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?下可能存放的是一些商品等
Allow:? /dianpu? ? ? ? ? ? ? ? ? ? ? ? ? 允許爬取dianpu的整個目錄，即淘寶的店鋪、商家等信息的目錄
Allow:? /wenzhang ? ? ? ? ? ? ? ? ? ? 同百度
Allow:? /oversea ? ? ? ? ? ? ? ? ? ? ? ?允許爬取oversea的整個目錄，即一些針對海外用戶的一些部分
Disallow:? / ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 以上沒有提及的其他目錄都是不允許爬取的
User-agent:? Bingbot ? ? ? ? ? ? ? ?以下八條都是針對必應(yīng)搜索引擎來說（與完全谷歌相同，就不單獨拿 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 出來分析了）
Allow:? /article
Allow:? /oshtml
Allow:? /product
Allow:? /spu
Allow:? /dianpu
Allow:? /wenzhang
Allow:? /oversea
Disallow:? /
User-Agent:? 360Spider ? ? ? ? ? ?以下4條都是針對360搜索引擎來說
Allow:? /article ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?同百度
Allow:? /oshtml ? ? ? ? ? ? ? ? ? ? ? ? ? ? 同百度?
Allow:? /wenzhang ? ? ? ? ? ? ? ? ? ? ? 同百度
Disallow:? / ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 同百度
User-Agent:? Yisouspider? ? ? ? 以下4條都是針對易搜搜索引擎來說
Allow:? /article
Allow:? /oshtml
Allow:? /wenzhang
Disallow:? /
User-Agent:? Sogouspider? ? ? 以下5條都是針對搜狗搜索引擎來說
Allow:? /article
Allow:? /oshtml
Allow:? /product
Allow:? /wenzhang
Disallow:? /
User-Agent:? Yahoo!? Slurp? ? ? 以下6條都是針對雅虎搜索引擎來說
Allow:? /product
Allow:? /spu
Allow:? /dianpu
Allow:? /wenzhang
Allow:? /oversea
Disallow:? /
User-Agent:? *
Disallow:? / ? ?其他沒有提到的搜索引擎都是禁止爬取的
二、robots內(nèi)部含義的分析
對國外的搜索引擎開放的可以爬取的目錄都比國內(nèi)的要多，可能因為要開發(fā)國外市場，但是可能考慮到搜索引擎的流量情況，對谷歌、必應(yīng)開放爬取的目錄要不雅虎高。
