搜索引擎三段式工作流程總結

申請免費試用、咨詢電話：400-8352-114

　　搜索引擎要處理的問題就是，在一個可以接受的時間內(nèi)返回一個和該用戶查詢匹配的網(wǎng)頁信息列表，這個列表包括三部分：標題，URL，描述或摘要。

　　現(xiàn)代的大規(guī)模搜索引擎一般采用三段式的工作流程，即：網(wǎng)頁搜集、預處理、查詢服務。

　　現(xiàn)在我對這三點簡單的闡述下：

　　一、網(wǎng)頁搜集

　　搜索引擎是通過爬蟲去搜集互聯(lián)網(wǎng)中的網(wǎng)頁，放入數(shù)據(jù)庫，但是這不可能是用戶提交查詢的時候才去抓取，而是預先就搜集好一批網(wǎng)頁，可以把WEB上的網(wǎng)頁集合看成是一個有向圖，搜集過程從給定起始URL集合S開始，沿著這些網(wǎng)頁中的鏈接，按照先深或先寬某種策略遍歷，不停的從S中移除URL，下載相應的網(wǎng)頁，解析出網(wǎng)頁中的超鏈接URL，看是否已經(jīng)訪問過，或者有未訪問過的那些URL加入集合S。我們這里可以是定期搜集，增量搜集，或者是用戶自主提交的方式進行爬取。并且對這批網(wǎng)頁進行維護。這種維護，是為了能及時發(fā)現(xiàn)網(wǎng)頁的新特征，搜集新的網(wǎng)頁，改變過的網(wǎng)頁，或者已經(jīng)不存在的網(wǎng)頁。

　　二、預處理

　　預處理主要包括四個方面：關鍵詞的提取、鏡像網(wǎng)頁或轉載網(wǎng)頁的消除、鏈接分析和網(wǎng)頁重要程度的計算

　　1.關鍵詞的提取

　　作為預處理階段的一個基本任務，就是要提取出網(wǎng)頁源文件的內(nèi)容部分包括的關鍵詞。對于中文來說，就是根據(jù)一個詞典，用一個所謂的“切詞軟件”，從網(wǎng)頁文字中切除詞典所包含的詞語來，在那之后，一篇網(wǎng)頁主要是由一組詞來代表，p={a,b,c,……d}.一般來講，我們會得到很多詞，同一個詞可能在一篇網(wǎng)頁中出現(xiàn)多次。然后我們要去掉”停用詞“，例如”的，在，是”這一類的詞語。再加以對這些詞的詞頻(TF)和文檔頻率(DF)之類的計算統(tǒng)計，從而指示出詞語在一篇文檔中的相對重要性和某種內(nèi)容的相關性。

　　2.鏡像或者轉載網(wǎng)頁的消除

　　在WEB上，存在著大量的重復信息，這種信息對于搜索引擎來說可能是負面的，因為需要消耗機器時間和帶寬資源，并且無意義的消耗了計算機顯示屏資源，也可以帶來用戶的抱怨，這么多重復，給我一個就夠了。所以搜索引擎對于消除這些重復信息也是預處理中一個很重要的任務。

　　3.鏈接分析

　　搜索引擎除了對內(nèi)容進行分析外，并且最重要的還需要對鏈接進行分析，鏈接信息不僅給出了網(wǎng)頁之間的關系，而且還對判斷網(wǎng)頁的內(nèi)容起到很重要的作用。網(wǎng)頁中的內(nèi)部鏈接和外部鏈接對網(wǎng)站的排序起到了很大的影響。

　　4.網(wǎng)頁重要程度的計算

　　搜索引擎返回給用戶是一個和查詢相關的結果列表，列表中的條目順序是很重要的問題。因此搜索引擎必須提供一種統(tǒng)計意義上的排序結果給用戶，但并不能給所有用戶都能提供滿意的結果。如何對網(wǎng)頁權重進行評估，是搜索引擎最需要解決的問題，例如GOOGLE的pr算法，其中思路就是認為“被引用越多的就是重要的”，和HITS算法等等。這些算法，有些在預處理階段計算，有些則在查詢服務階段進行計算，從而最終形成最優(yōu)的排序結果。

　　三、查詢服務

　　當從一個S集合開始，通過預處理后得到的就是S的一個子集元素的某種內(nèi)部顯示，至少包含幾個方面：原始網(wǎng)頁文檔，URL和標題，編號，所含重要關鍵詞的集合(包括出現(xiàn)位置)等其他的一些指標。而系統(tǒng)關鍵詞的總體集合和編號一起構成了一個倒排文件結構，使得一旦得到一個關鍵詞輸入，就立刻能給出相文檔編號的集合輸出。這里主要有三方面的：查詢方式和匹配，結果排序，文檔摘要。

　　1.查詢方式和匹配

　　用戶一般查詢都是“要什么就輸入什么”，這對于搜索引擎來說，是一種模糊的說法，它可能不知道你真正想要的是什么，所以就是希望網(wǎng)頁中包含有該詞或者短語中的詞，也就對用戶查詢的詞語或短語進行分詞，形成一個q,他的每一個元素都對應倒排文件中的一個倒排表，即文檔編號的集合。從而實現(xiàn)了查詢和文檔的匹配。

　　2.結果排序

　　要想給用戶提供最高質(zhì)量的網(wǎng)頁信息，必須對結果進行排序，例如GOOGLE的PageRank算法，Kleinberg的HITS算法等，是目前搜索引擎給出查詢結果排序的主要方法。

　　3.文檔摘要

　　搜索引擎給出的結果是一個有序的條目列表，每一個條目都包含標題，URL，摘要，其中的摘要需要從網(wǎng)頁正文中生成，這里可以歸納為兩種方法，一種是靜態(tài)方式，從正文中提取中一些文字，如正文開頭的512個字節(jié)，或者每段第一句拼湊起來等，但這種有個弊端是可能與查詢的詞語無關。所以第二種方式就是動態(tài)摘要，根據(jù)查詢的詞在文檔中的位置，提取出周圍的文字來，顯示時將查詢詞標亮。這種方式是目前大多數(shù)搜索引擎采用的方式，為了保證查詢效率，需要在預處理分詞階段記住每個關鍵詞在文檔中出現(xiàn)的位置。