搜索引擎

• 搜索引擎是指自動(dòng)從因特網(wǎng)搜集信息，經(jīng)過(guò)一定整理以后，提供給用戶進(jìn)行查詢的系統(tǒng)。

• 在搜索引擎中，有多種種類劃分：

• 全文索引

全文搜索引擎是目前廣泛應(yīng)用的主流搜索引擎，它們從互聯(lián)網(wǎng)提取各個(gè)網(wǎng)站的信息（以網(wǎng)頁(yè)文字為主），建立起數(shù)據(jù)庫(kù)，并能檢索與用戶查詢條件相匹配的記錄，按一定的排列順序返回結(jié)果。

根據(jù)搜索結(jié)果來(lái)源的不同，全文搜索引擎可分為兩類：

• 目錄索引

• 也能稱為分類檢索，是因特網(wǎng)上最早提供WWW（也就是萬(wàn)維網(wǎng)）資源查詢的服務(wù)，主要通過(guò)搜集和整理因特網(wǎng)的資源，根據(jù)搜索到網(wǎng)頁(yè)的內(nèi)容，將其網(wǎng)址分配到相關(guān)分類主題目錄的不同層次的類目之下，形成像圖書館目錄一樣的分類樹形結(jié)構(gòu)索引。

目錄索引雖然有搜索功能，但嚴(yán)格意義上不能稱為真正的搜索引擎，只是按目錄分類的網(wǎng)站鏈接列表而已。用戶完全可以按照分類目錄找到所需要的信息，不依靠關(guān)鍵詞（Keywords）進(jìn)行查詢。（例：Yahoo、新浪分類目錄搜索）

• 元搜索引擎

• 元搜索引擎（META Search Engine）接受用戶查詢請(qǐng)求后，同時(shí)在多個(gè)搜索引擎上搜索，并將結(jié)果返回給用戶。（例：著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎）

• 集合式搜索引擎

• 該搜索引擎類似元搜索引擎，區(qū)別在于它并非同時(shí)調(diào)用多個(gè)搜索引擎進(jìn)行搜索，而是由用戶從提供的若干搜索引擎中選擇，如HotBot在2002年底推出的搜索引擎。

• 垂直搜索引擎

• 不同于通用的網(wǎng)頁(yè)搜索引擎，垂直搜索專注于特定的搜索領(lǐng)域和搜索需求（例如：機(jī)票搜索、旅游搜索、生活搜索、小說(shuō)搜索、視頻搜索等等），在其特定的搜索領(lǐng)域有更好的用戶體驗(yàn)。相比通用搜索動(dòng)輒數(shù)千臺(tái)檢索服務(wù)器，垂直搜索需要的硬件成本低、用戶需求特定、查詢的方式多樣。

• 門戶搜索引擎

• 門戶搜索引擎：AOLSearch、MSNSearch等雖然提供搜索服務(wù)，但自身既沒(méi)有分類目錄也沒(méi)有網(wǎng)頁(yè)數(shù)據(jù)庫(kù)，其搜索結(jié)果完全來(lái)自其他搜索引擎。

• 免費(fèi)鏈接列表

• 免費(fèi)鏈接列表（Free For All Links簡(jiǎn)稱FFA）：一般只簡(jiǎn)單地滾動(dòng)鏈接條目，少部分有簡(jiǎn)單的分類目錄，不過(guò)規(guī)模要比Yahoo！等目錄索引小很多。

• 搜索引擎的組成部分

①搜索器：其功能是在互聯(lián)網(wǎng)中漫游，發(fā)現(xiàn)和搜集信息；
②索引器：其功能是理解搜索器所搜索到的信息，從中抽取出索引項(xiàng)，用于表示文檔以及生成文檔庫(kù)的索引表；
③檢索器：其功能是根據(jù)用戶的查詢?cè)谒饕龓?kù)中快速檢索文檔，進(jìn)行相關(guān)度評(píng)價(jià)，對(duì)將要輸出的結(jié)果排序，并能按用戶的查詢需求合理反饋信息；
④用戶接口：其作用是接納用戶查詢、顯示查詢結(jié)果、提供個(gè)性化查詢項(xiàng)。

• 工作原理

①抓取網(wǎng)頁(yè)：每個(gè)獨(dú)立的搜索引擎都有自己的網(wǎng)頁(yè)抓取程序（spider）。Spider順著網(wǎng)頁(yè)中的超鏈接，連續(xù)地抓取網(wǎng)頁(yè)。被抓取的網(wǎng)頁(yè)被稱之為網(wǎng)頁(yè)快照。由于互聯(lián)網(wǎng)中超鏈接的應(yīng)用很普遍，理論上，從一定范圍的網(wǎng)頁(yè)出發(fā)，就能搜集到絕大多數(shù)的網(wǎng)頁(yè)。

②處理網(wǎng)頁(yè)：搜索引擎抓到網(wǎng)頁(yè)后，還要做大量的預(yù)處理工作，才能提供檢索服務(wù)。其中，最重要的就是提取關(guān)鍵詞，建立索引文件。其他還包括去除重復(fù)網(wǎng)頁(yè)、分詞（中文）、判斷網(wǎng)頁(yè)類型、分析超鏈接、計(jì)算網(wǎng)頁(yè)的重要度/豐富度等。

③提供檢索服務(wù)：用戶輸入關(guān)鍵詞進(jìn)行檢索，搜索引擎從索引數(shù)據(jù)庫(kù)中找到匹配該關(guān)鍵詞的網(wǎng)頁(yè)；為了用戶便于判斷，除了網(wǎng)頁(yè)標(biāo)題和URL外，還會(huì)提供一段來(lái)自網(wǎng)頁(yè)的摘要以及其他信息。

參考文獻(xiàn)：https://wenku.baidu.com/view/ef3fe01c10a6f524ccbf85df.html?from=search