中文南昌OA風(fēng)光無限--淺談針對中文南昌OA專門開發(fā)的一些技術(shù)（by 潘越）

申請免費試用、咨詢電話：400-8352-114

IBM中國研究中心 潘越博士

潘越博士于1998年加入IBM中國研究中心工作至今。他1996年于中國科學(xué)院自動化研究所獲博士學(xué)位，曾就職于信息產(chǎn)業(yè)部信息化工程總體研究中心。先后主持過國際互聯(lián)網(wǎng)內(nèi)容選擇平臺(PICS)、跨語言檢索(Native Search)、中文知識門戶技術(shù)(Chinese Knowledge Portal)、市場情報門戶(Market Intellig ence Portal)等項目的研究開發(fā)。目前的研究興趣包括信息檢索、自然語言處理、知識的表示和推理等。

知識就是以文字或語言的形式保存的信息資源與人頭腦中具有的經(jīng)驗、思維的綜合，它通常隱性地存在，不容易直接為人們發(fā)現(xiàn)。知識管理就是對知識加以有效的識別、獲取、存儲、分解、利用、傳遞和擴展的過程，從而改進和提高個人、部門和組織的創(chuàng)新能力、響應(yīng)能力、生產(chǎn)力和技能素質(zhì)。它可以在適當?shù)臅r候把相關(guān)的信息與知識傳送到適當?shù)娜藛T，使其能夠有效地利用信息與知識，采取行動，產(chǎn)生效益。知識管理實際上是對人與信息資源的動態(tài)管理過程，人是知識管理的核心，信息是知識管理的基礎(chǔ)，創(chuàng)新和效益是知識管理的最終目標。

知識管理技術(shù)是實現(xiàn)有效知識管理的基礎(chǔ)，是協(xié)助人們識別、獲取、存儲、分解、利用、傳遞和擴展知識的一種技術(shù)體系。它包括的技術(shù)內(nèi)容非常繁多，其中最重要的是文檔管理技術(shù)、文本挖掘與檢索技術(shù)、企業(yè)知識門戶技術(shù)等。

主要知識管理技術(shù)

(1)文檔管理技術(shù)

知識管理技術(shù)中的文檔管理不是信息技術(shù)里的文件管理，更類似于檔案管理。它具有分類歸檔、外部特征管理、關(guān)鍵詞管理等功能。分類歸檔功能用于把各種體裁的文檔納入知識管理系統(tǒng)的文檔管理系統(tǒng)中，包括新聞稿、產(chǎn)品說明書、設(shè)計資料、演示文檔、工作報告等企業(yè)運營中產(chǎn)生的各種文檔，同時系統(tǒng)還能將上述文檔在目錄中列出、打開和編輯。外部特征管理功能，能自動提取文檔的外部特征，并允許按文檔外部特征進行檢索。關(guān)鍵詞管理功能允許使用者給出文檔的關(guān)鍵詞以便檢索。文檔管理最重要的價值在于將原先要由不同系統(tǒng)處理的各類文檔集中在一個平臺下統(tǒng)一管理。

(2)文本挖掘與檢索技術(shù)

知識管理技術(shù)的最大瓶頸是如何在海量的非結(jié)構(gòu)化文檔中又快、又準、又全地找到用戶所需的文檔。毫無疑問，檢索是知識管理的核心技術(shù)，檢索的效率和質(zhì)量決定了知識管理解決方案的優(yōu)劣。

檢索技術(shù)通常采取兩種方案：一是將文檔歸入一個有序的結(jié)構(gòu)，再按結(jié)構(gòu)規(guī)則提取文檔(檢索)，這種方法也被稱為文本挖掘(text mining)；另一種方案是不建立結(jié)構(gòu)，在檢索時，用戶自由地輸入檢索詞或短語，由系統(tǒng)進行匹配，并將匹配到的文檔按檢索詞出現(xiàn)頻率的統(tǒng)計規(guī)則提供給用戶，即全文檢索。

結(jié)構(gòu)化方案本身又可分為兩種：一是由機器根據(jù)文檔特征，按一定算法自動建立有序的結(jié)構(gòu)，并將文檔歸入該結(jié)構(gòu)；其二是人工建立結(jié)構(gòu)，再人工將文檔歸入結(jié)構(gòu)。第一種方法的代表產(chǎn)品是IBM的Text Miner。第二種方法通常采用的結(jié)構(gòu)是樹狀分類表，文檔內(nèi)容按分類表歸入某一個最終子類，檢索時可按樹狀結(jié)構(gòu)一層一層地找到文檔。除分類表外，還有另一種方法——主題詞表。它將本領(lǐng)域的主要概念(主題詞)收集在一起，按文檔內(nèi)容所涉及的主題，從主題詞表中選出若干個概念，作為該文檔的標識，并存入數(shù)據(jù)庫。以后，只要從主題詞表中選出合適的主題詞，就可以提取文檔。

(3)企業(yè)知識門戶技術(shù)

企業(yè)知識門戶現(xiàn)在已經(jīng)成為知識管理系統(tǒng)的標準配置。對用戶來說，企業(yè)門戶是信息系統(tǒng)的唯一界面，日常工作的一切事務(wù)都可在企業(yè)門戶中完成。例如，在企業(yè)門戶中可以打開各類文檔進行編輯、訪問數(shù)據(jù)庫、訪問Internet和Intranet、收發(fā)郵件、進入工作流操作等。企業(yè)門戶還可以按不同需求定制?？傊?，企業(yè)門戶試圖將日益復(fù)雜的應(yīng)用集成到一個統(tǒng)一的平臺上。

除此之外，知識管理技術(shù)還包括數(shù)據(jù)倉庫、工作流、專家系統(tǒng)、商業(yè)智能等技術(shù)。但是由于理解不同，至今為止還沒有統(tǒng)一、科學(xué)和規(guī)范的知識管理技術(shù)分類標準。

針對中文的知識管理技術(shù)

中文是世界上使用人口最多的語言，但現(xiàn)代信息技術(shù)對中文的貢獻卻遠遠落后于其它語言。目前成熟、領(lǐng)先的知識管理技術(shù)都針對于英語、法語等語種，在中文內(nèi)容的理解、檢索和表示上都存在著或多或少不盡人意的地方，對中文內(nèi)容管理技術(shù)的投入也遠遠低于其他語言。此外，中國企業(yè)的管理體制與西方大不相同。如果直接應(yīng)用國外的知識管理工具，可能會存在很多水土不服的地方。因此需要針對中文知識管理專門開發(fā)一些技術(shù)。

IBM一直致力于中文自然語言理解技術(shù)的研究，并且在此研究基礎(chǔ)上，開發(fā)出了一系列用于中文知識管理的技術(shù)，包括中文智能檢索技術(shù)，中文摘要智能生成技術(shù)，中文文本自動分類技術(shù)，中文文本自動聚類技術(shù)，中文主題檢測與追蹤技術(shù)以及中文文本消重與相似檢索技術(shù)。在這些技術(shù)中，IBM采用了最新的自然語言處理算法，通過運用這些技術(shù)，可以大大提高中文信息檢索速度和質(zhì)量，從而加快中國企業(yè)信息化和管理科學(xué)化的發(fā)展。

中文智能檢索技術(shù)：中文智能檢索技術(shù)是為知識發(fā)現(xiàn)提供服務(wù)的一項技術(shù)。它一般包括索引創(chuàng)建、查詢處理和結(jié)果排序等內(nèi)容。為了提高中文檢索的速度和準確性，IBM的中文智能檢索技術(shù)在檢索的整個過程中都使用了先進的中文處理技術(shù)，同時還考慮最終用戶的使用環(huán)境與習(xí)慣，使查詢結(jié)果能夠最大程度地滿足用戶的要求，從而提高用戶的查詢效率。

文本自動分類技術(shù)：分類是為知識管理提供文件分類歸檔的一種重要方法。通過分類，用戶可以更快速、精準、有效地取得并處理所要的數(shù)據(jù)。在文本自動分類技術(shù)中，用戶只需要事先定義好分類器的架構(gòu)，并經(jīng)過適當?shù)挠?xùn)練，之后系統(tǒng)便可以依據(jù)分類器的內(nèi)容對新的文本自動分類。分類時，除了用參考以前訓(xùn)練樣本的統(tǒng)計數(shù)據(jù)外，用戶還可以指定特殊的規(guī)則進行分類時的參考。這個技術(shù)可應(yīng)用在多個領(lǐng)域中，例如：在網(wǎng)站管理中，管理員可以建立并訓(xùn)練好分類器，以后每當有新的文章到來時，就可以利用分類器快速得知它屬于哪個類別。

文本自動聚類技術(shù)：自動文件聚類技術(shù)是為知識管理提供文件分類歸檔的另一種重要方法，它可以讓用戶對大量的文章進行快速且粗略的分類。用戶事前完全不需要對系統(tǒng)進行訓(xùn)練，系統(tǒng)會根據(jù)文件的內(nèi)容，自動將內(nèi)容相近的文件歸成同一類。通過本技術(shù)，使用者可以對大量的文章進行快速的分類。

自動摘要生成技術(shù)：自動摘要生成技術(shù)可以針對中文文檔摘取出重要的句子，產(chǎn)生屬于該文檔的摘要。應(yīng)用這個技術(shù)，用戶可以快速從多篇文章中，挑出重要的或感興趣的文章閱讀。使用時，使用者可動態(tài)決定生成摘要的大小，摘要的內(nèi)容，并可針對多篇文章產(chǎn)生一份摘要。

主題偵測與追蹤技術(shù)：主題偵測與追蹤技術(shù)包含了主題偵測和主題追蹤兩個功能。用于發(fā)現(xiàn)輸入流中的新主題，并自動跟蹤相關(guān)主體的文章，可應(yīng)用于很大的文檔集合。

自動查重和文章相似檢索技術(shù)：自動查重和文本相似檢索技術(shù)可以幫助用戶自動發(fā)現(xiàn)重復(fù)文章、相似文章，可以應(yīng)用于文檔查重等諸多領(lǐng)域。

IBM所提供的這些中文信息檢索技術(shù)不僅滿足了中國企業(yè)知識管理的簡單、快速、全面、精確的要求，通過與數(shù)據(jù)庫管理軟件IBM DB2 / Content Manager / Information Integrator的集成，將大大提高了工作效率和知識發(fā)現(xiàn)能力，而且還進一步鞏固了IBM在該領(lǐng)域的領(lǐng)先地位。目前，這些技術(shù)正在一些領(lǐng)域得到廣泛應(yīng)用。

轉(zhuǎn)自：新浪