搜索引擎:一種用來(lái)在計(jì)算機(jī)網(wǎng)絡(luò),特別是萬(wàn)維網(wǎng)上檢索各種文件的計(jì)算機(jī)程序.
是一種查詢系統(tǒng),也是一個(gè)用戶自定義的信息聚合系統(tǒng)(根據(jù)用戶定義的需求,爬取網(wǎng)絡(luò)上的資源,整個(gè)為本地離線信息集合)
三種搜索服務(wù)方式
目錄式搜索引擎
依賴編輯人員進(jìn)行篩選,在此基礎(chǔ)進(jìn)行分類,形成分類目錄結(jié)構(gòu).
eg早期雅虎,搜狐搜索:一種類似的黃頁(yè)查詢,搜索信息不全面,更新不及時(shí)
全文搜索 引擎
針對(duì)萬(wàn)維網(wǎng)所有網(wǎng)頁(yè)進(jìn)行全文搜索的搜索引擎.由下載系統(tǒng)以某種策略自動(dòng)在萬(wàn)維網(wǎng)搜索和發(fā)現(xiàn)信息,由搜索引擎為搜索到的信息建立索引,由禪尋系統(tǒng)根據(jù)用戶的查詢輸入檢索索引庫(kù),并返回給用戶.
服務(wù)方式是面向網(wǎng)頁(yè)的全文檢索服務(wù)
優(yōu)點(diǎn):信息量大,更新即使,無(wú)人干擾.
缺點(diǎn):返回信息太多,有太多無(wú)關(guān)信息
元搜索引擎(MetaSearch Engine)
沒(méi)有自己的數(shù)據(jù),而是將用戶的查詢請(qǐng)求同時(shí)向多個(gè)搜索引擎遞交.然后將返回的結(jié)果進(jìn)行重新排除和重新排序等處理后,作為自己的結(jié)果返回給用戶.
服務(wù)方式為面向網(wǎng)頁(yè)的全文檢索
優(yōu)點(diǎn):返回結(jié)果信息量大
缺點(diǎn):不能充分使用原搜索引擎的功能,用戶需要更多的篩選
代表:webCrawler
搜索引擎的主要需求
快速
全面:查全率(Recall)作為衡量檢索是否全面的衡量標(biāo)準(zhǔn):全部相關(guān)網(wǎng)頁(yè)/查出相關(guān)網(wǎng)頁(yè)-->索引越多,查全率卻高
準(zhǔn)確:查準(zhǔn)率:相關(guān)文檔數(shù)/檢索出的文檔總數(shù).
可靠:存儲(chǔ),查詢,索引中考慮
廉價(jià)
搜索引擎的4大系統(tǒng)
下載
負(fù)責(zé)從萬(wàn)維網(wǎng)上下載各種類型的網(wǎng)頁(yè),并且保持對(duì)萬(wàn)維網(wǎng)變化的同步分析
抽取下載系統(tǒng)中得到的網(wǎng)頁(yè)數(shù)據(jù),并進(jìn)行PageRank和分詞計(jì)算索引
負(fù)責(zé)將分析系統(tǒng)處理后的網(wǎng)頁(yè)對(duì)象索引入庫(kù)查詢
分析用戶提交的查詢請(qǐng)求,然后從索引庫(kù)中檢索出相關(guān)網(wǎng)頁(yè)并將網(wǎng)頁(yè)排序后,以查詢結(jié)果的方式返回用戶
注:從整體看,下載,分析,索引組成了搜索引擎的數(shù)據(jù)制作部分,被稱為離線部分
查詢系統(tǒng)為搜索引擎的數(shù)據(jù)服務(wù)部分,要求快速響應(yīng),被稱為在線部分
從細(xì)節(jié)來(lái)看,網(wǎng)頁(yè)從開(kāi)始到最后都是網(wǎng)頁(yè)而在搜索引擎內(nèi)部會(huì)有兩種形式:一種網(wǎng)頁(yè)庫(kù)的方式存儲(chǔ),一種稱為網(wǎng)頁(yè)對(duì)象被存儲(chǔ)在索引庫(kù)中.
搜索引擎的主要數(shù)據(jù)來(lái)自網(wǎng)頁(yè),網(wǎng)頁(yè)處理能力是搜索引擎面對(duì)的主要挑戰(zhàn)
