2-2? URL優(yōu)化（uniform resource locator）統(tǒng)一資源定位符，也被成為網頁地址，是因特網站標準資源的地址http://屬于網絡協(xié)議? https://屬于高級網絡協(xié)議訪問網站頁面=訪問FTP根目錄/wwwroot一、URL包含五個部分組成1.傳送協(xié)議
2.服務器：域名就是ip服務器地址3.端口號4.路徑5.詢問：？后面是追蹤網民來源（不影響可以忽視）二、容易被蜘蛛抓取1.URL層級越短越容易被抓取2.有助于提升搜索引擎結果排名：1、頁面被收錄是排名的前提 2、層級越淺重要度越高，從而提高頁面權重
三：URL層次縮減規(guī)則1.減少不必要的目錄層級織夢后臺：系統(tǒng)--系統(tǒng)基本參數(shù)--文檔HTML默認保存路徑--刪除/a--確定織夢后臺：核心--網站欄目管理--欄目--更改--常規(guī)選項--文件保存目錄
/a刪除--高級選項--文章命名規(guī)則--
改成
（/ 變成 -）--確定--一鍵更新2.建議保持最多三個層級四：域名的選擇1.選擇包含關鍵的域名2.選擇包含關鍵詞拼音或者縮寫的域名五、URL重寫1.是把動態(tài)頁面的URL轉化成偽靜態(tài)URL的過程2.看不懂的代碼就是動態(tài)： 打開網頁源代碼---動態(tài)頁面：是通過執(zhí)行asp、PHP、jsp、net看得懂的代碼就是靜態(tài)=偽靜態(tài)：htm、shtm、shtml、html
2-2 robots與網站地圖的協(xié)議一、robots.txt協(xié)議1是.純文本協(xié)議，用于聲明該網站中不想被蜘蛛訪問部分，或者指定蜘蛛抓取的部分2.不是固定，而是一種約定，需要蜘蛛自覺遵守的一種習俗二、robots.txt的作用1.防止私密或重要內容被搜索引擎抓取2.節(jié)省服務器資源，從而提高服務質量3.減少重復抓取，提高網站質量指定sitemap文件位置三、robots.txt的常用語法? *是通配符? /文件符（開始前要寫/結尾也要/）User-agent：用戶代理（特支出搜素引擎
針對哪個搜素引擎蜘蛛
這里的*代表搜素引擎種類，*是通配符
1、AIIOW 允許：定義的允許蜘蛛抓取某個欄目或文件
2、AIIOW：/cgi-bin/：定義是允許訪問cgi-bin目錄
3、AIIOW：/*htm$ :允許訪問意htm為后綴的URL
4、Disallow 不允許 ：禁止蜘蛛抓取某個欄目或文件5、user-agent/admin/禁止抓取admin目錄
6、Grawi-delay 延遲時間 間隔抓取時間
7、Visit-time:0100-1600 在每天的01:00-16:00允許抓取
8、Request-rate：20/1m 0900-1359 允許在每天9:00-13:59允許抓取，以每秒20抓取
（robots協(xié)議一般不被抓取動態(tài)代碼、織夢的廣告、后臺賬號）
