搜索引擎三段式工作流程總結(jié)

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

　　搜索引擎要處理的問題就是，在一個(gè)可以接受的時(shí)間內(nèi)返回一個(gè)和該用戶查詢匹配的網(wǎng)頁信息列表，這個(gè)列表包括三部分：標(biāo)題，URL，描述或摘要。

　　現(xiàn)代的大規(guī)模搜索引擎一般采用三段式的工作流程，即：網(wǎng)頁搜集、預(yù)處理、查詢服務(wù)。

　　現(xiàn)在我對(duì)這三點(diǎn)簡單的闡述下：

　　一、網(wǎng)頁搜集

　　搜索引擎是通過爬蟲去搜集互聯(lián)網(wǎng)中的網(wǎng)頁，放入數(shù)據(jù)庫，但是這不可能是用戶提交查詢的時(shí)候才去抓取，而是預(yù)先就搜集好一批網(wǎng)頁，可以把WEB上的網(wǎng)頁集合看成是一個(gè)有向圖，搜集過程從給定起始URL集合S開始，沿著這些網(wǎng)頁中的鏈接，按照先深或先寬某種策略遍歷，不停的從S中移除URL，下載相應(yīng)的網(wǎng)頁，解析出網(wǎng)頁中的超鏈接URL，看是否已經(jīng)訪問過，或者有未訪問過的那些URL加入集合S。我們這里可以是定期搜集，增量搜集，或者是用戶自主提交的方式進(jìn)行爬取。并且對(duì)這批網(wǎng)頁進(jìn)行維護(hù)。這種維護(hù)，是為了能及時(shí)發(fā)現(xiàn)網(wǎng)頁的新特征，搜集新的網(wǎng)頁，改變過的網(wǎng)頁，或者已經(jīng)不存在的網(wǎng)頁。

　　二、預(yù)處理

　　預(yù)處理主要包括四個(gè)方面：關(guān)鍵詞的提取、鏡像網(wǎng)頁或轉(zhuǎn)載網(wǎng)頁的消除、鏈接分析和網(wǎng)頁重要程度的計(jì)算

　　1.關(guān)鍵詞的提取

　　作為預(yù)處理階段的一個(gè)基本任務(wù)，就是要提取出網(wǎng)頁源文件的內(nèi)容部分包括的關(guān)鍵詞。對(duì)于中文來說，就是根據(jù)一個(gè)詞典，用一個(gè)所謂的“切詞軟件”，從網(wǎng)頁文字中切除詞典所包含的詞語來，在那之后，一篇網(wǎng)頁主要是由一組詞來代表，p={a,b,c,……d}.一般來講，我們會(huì)得到很多詞，同一個(gè)詞可能在一篇網(wǎng)頁中出現(xiàn)多次。然后我們要去掉”停用詞“，例如”的，在，是”這一類的詞語。再加以對(duì)這些詞的詞頻(TF)和文檔頻率(DF)之類的計(jì)算統(tǒng)計(jì)，從而指示出詞語在一篇文檔中的相對(duì)重要性和某種內(nèi)容的相關(guān)性。

　　2.鏡像或者轉(zhuǎn)載網(wǎng)頁的消除

　　在WEB上，存在著大量的重復(fù)信息，這種信息對(duì)于搜索引擎來說可能是負(fù)面的，因?yàn)樾枰臋C(jī)器時(shí)間和帶寬資源，并且無意義的消耗了計(jì)算機(jī)顯示屏資源，也可以帶來用戶的抱怨，這么多重復(fù)，給我一個(gè)就夠了。所以搜索引擎對(duì)于消除這些重復(fù)信息也是預(yù)處理中一個(gè)很重要的任務(wù)。

　　3.鏈接分析

　　搜索引擎除了對(duì)內(nèi)容進(jìn)行分析外，并且最重要的還需要對(duì)鏈接進(jìn)行分析，鏈接信息不僅給出了網(wǎng)頁之間的關(guān)系，而且還對(duì)判斷網(wǎng)頁的內(nèi)容起到很重要的作用。網(wǎng)頁中的內(nèi)部鏈接和外部鏈接對(duì)網(wǎng)站的排序起到了很大的影響。

　　4.網(wǎng)頁重要程度的計(jì)算

　　搜索引擎返回給用戶是一個(gè)和查詢相關(guān)的結(jié)果列表，列表中的條目順序是很重要的問題。因此搜索引擎必須提供一種統(tǒng)計(jì)意義上的排序結(jié)果給用戶，但并不能給所有用戶都能提供滿意的結(jié)果。如何對(duì)網(wǎng)頁權(quán)重進(jìn)行評(píng)估，是搜索引擎最需要解決的問題，例如GOOGLE的pr算法，其中思路就是認(rèn)為“被引用越多的就是重要的”，和HITS算法等等。這些算法，有些在預(yù)處理階段計(jì)算，有些則在查詢服務(wù)階段進(jìn)行計(jì)算，從而最終形成最優(yōu)的排序結(jié)果。

　　三、查詢服務(wù)

　　當(dāng)從一個(gè)S集合開始，通過預(yù)處理后得到的就是S的一個(gè)子集元素的某種內(nèi)部顯示，至少包含幾個(gè)方面：原始網(wǎng)頁文檔，URL和標(biāo)題，編號(hào)，所含重要關(guān)鍵詞的集合(包括出現(xiàn)位置)等其他的一些指標(biāo)。而系統(tǒng)關(guān)鍵詞的總體集合和編號(hào)一起構(gòu)成了一個(gè)倒排文件結(jié)構(gòu)，使得一旦得到一個(gè)關(guān)鍵詞輸入，就立刻能給出相文檔編號(hào)的集合輸出。這里主要有三方面的：查詢方式和匹配，結(jié)果排序，文檔摘要。

　　1.查詢方式和匹配

　　用戶一般查詢都是“要什么就輸入什么”，這對(duì)于搜索引擎來說，是一種模糊的說法，它可能不知道你真正想要的是什么，所以就是希望網(wǎng)頁中包含有該詞或者短語中的詞，也就對(duì)用戶查詢的詞語或短語進(jìn)行分詞，形成一個(gè)q,他的每一個(gè)元素都對(duì)應(yīng)倒排文件中的一個(gè)倒排表，即文檔編號(hào)的集合。從而實(shí)現(xiàn)了查詢和文檔的匹配。

　　2.結(jié)果排序

　　要想給用戶提供最高質(zhì)量的網(wǎng)頁信息，必須對(duì)結(jié)果進(jìn)行排序，例如GOOGLE的PageRank算法，Kleinberg的HITS算法等，是目前搜索引擎給出查詢結(jié)果排序的主要方法。

　　3.文檔摘要

　　搜索引擎給出的結(jié)果是一個(gè)有序的條目列表，每一個(gè)條目都包含標(biāo)題，URL，摘要，其中的摘要需要從網(wǎng)頁正文中生成，這里可以歸納為兩種方法，一種是靜態(tài)方式，從正文中提取中一些文字，如正文開頭的512個(gè)字節(jié)，或者每段第一句拼湊起來等，但這種有個(gè)弊端是可能與查詢的詞語無關(guān)。所以第二種方式就是動(dòng)態(tài)摘要，根據(jù)查詢的詞在文檔中的位置，提取出周圍的文字來，顯示時(shí)將查詢?cè)~標(biāo)亮。這種方式是目前大多數(shù)搜索引擎采用的方式，為了保證查詢效率，需要在預(yù)處理分詞階段記住每個(gè)關(guān)鍵詞在文檔中出現(xiàn)的位置。