大家有沒有遇到過這種情況,自己的公司新做了一個網(wǎng)站,堅持每天更新文章,1個月過去了,只收錄了網(wǎng)站首頁,其他頁面都沒有收錄。
為什么呢?
通過今天這篇文章相信大家會有全新的認識。
其實學習過搜索引擎原理之后,你就會知道答案,這個跟搜索引擎爬蟲的爬取策略有關。
這個其實我們在之前的搜索引擎原理課程里有講到,大家錯過的建議再去聽一下,在網(wǎng)學堂公眾號回復:聽課,就可以獲取課程地址
搜索引擎爬蟲抓取有2大策略
1、深度優(yōu)先抓取策略
2、廣度優(yōu)先抓取策略
為了讓大家更容易理解這2個策略,給大家舉個例子,如下圖:
如果是深度優(yōu)先抓取策略,搜索引擎爬蟲的爬取路徑為:
首頁、欄目1、網(wǎng)頁A、網(wǎng)頁G、網(wǎng)頁B、欄目2、網(wǎng)頁C、網(wǎng)頁D
簡單一句話就是:一條道走到黑
如果是廣度優(yōu)先抓取策略,搜索引擎爬蟲的爬取路徑為:
首頁、欄目1、欄目2、欄目3、網(wǎng)頁A、網(wǎng)頁B、網(wǎng)頁C、網(wǎng)頁D
簡單一句話就是:螃蟹走路
搜索引擎針對不同的網(wǎng)站,其實采取的抓取策略是不同的,針對新站或權重低的網(wǎng)站,一般采取的是廣度優(yōu)先抓取策略
所以針對一個新站,一般是先收錄首頁、然后收錄欄目頁、最后才是內(nèi)容頁。
其實出現(xiàn)這種情況后,大家也不要擔心,只要你的文章質(zhì)量還可以,遲早是會收錄的,如果你比較急,想快速收錄,也是有方法的,有想學習的歡迎留言。