一、常見的搜索引擎協(xié)議

1、網(wǎng)站地圖

把網(wǎng)站地圖想象成一個文件列表，給搜索引擎提示他們?nèi)绾巫ト∧愕木W(wǎng)站。 網(wǎng)站地圖幫助搜索引擎查找和分類您網(wǎng)站上的內(nèi)容，而這些內(nèi)容可能并不是他們自己找到的。 網(wǎng)站地圖也有各種格式，可以突出顯示許多不同類型的內(nèi)容，包括視頻，圖像，新聞和移動。

網(wǎng)站地圖有三種格式：XML、RSS和TXT

2、Roberts.txt

robots.txt文件是機(jī)器人排除協(xié)議的產(chǎn)品，是存儲在網(wǎng)站根目錄（例如www.google.com/robots.txt）中的文件。 robots.txt文件為訪問您的網(wǎng)站的自動網(wǎng)絡(luò)抓取工具（包括搜索抓取工具）提供了說明。

通過使用robots.txt，網(wǎng)站管理員可以向搜索引擎指示他們想要禁止漫游器爬行的哪個區(qū)域，以及指示站點地圖文件的位置和抓取延遲參數(shù)

3、Meta Robots

Meta Robots為搜索引擎機(jī)器人創(chuàng)建頁面級指令。Meta Robots 應(yīng)該包含在HTML文檔的頭部分。

4、 Rel=“Nofollow"

“nofollow”告訴搜索引擎不要跟隨鏈接，雖然一些引擎仍然跟著他們發(fā)現(xiàn)新的頁面。 這些鏈接的價值相比，它們的價值更低，但在鏈接到不受信任的來源的各種情況下都很有用。

5、Rel="canonical"

通常，您的網(wǎng)站上出現(xiàn)兩個或更多完全相同內(nèi)容的副本，網(wǎng)址不同。 例如，以下網(wǎng)址都可以引用一個主頁：

http://www.example.com/

http://www.example.com/default.asp

http://example.com/

http://example.com/default.asp

http://Example.com/Default.asp

對于搜索引擎，這些顯示為五個單獨的頁面。 由于內(nèi)容在每個頁面上都是相同的，這可能會導(dǎo)致搜索引擎貶低內(nèi)容及其潛在的排名。

規(guī)范標(biāo)簽通過告訴搜索機(jī)器人哪個頁面是網(wǎng)絡(luò)搜索結(jié)果中應(yīng)該包含的單一權(quán)威版本來解決這個問題。

二、搜索引擎工具

包括Google search console、Bing webmaster tool、百度站長工具等