石家莊OA信息化的基本XML和RDF技術(shù)（三）：語(yǔ)義知識(shí)

申請(qǐng)免費(fèi)試用、咨詢(xún)電話(huà)：400-8352-114

知識(shí)管理的基本XML和RDF技術(shù)（三）：語(yǔ)義知識(shí)

Uche Ogbuji （uche.ogbuji@fourthought.com）

首席顧問(wèn)，F(xiàn)ourthought, Inc.

2001 年 11 月

本專(zhuān)欄文章是這個(gè)系列的第三部分，它演示了如何通過(guò)合并 WordNet 同義詞集將語(yǔ)義知識(shí)添加到 RDF 應(yīng)用程序。有了添加的 WordNet 詞匯數(shù)據(jù)庫(kù)知識(shí)，可以一次性搜索具有相關(guān)概念的一組 RDF 數(shù)據(jù)，而不是一次只能搜索一個(gè)關(guān)鍵字。如同演示問(wèn)題跟蹤器應(yīng)用程序所示，那意味著搜索一次以獲得符合“selection”概念的實(shí)例，而不是對(duì)“vote”、“choice”、“vote”以及 86 個(gè)其它的相關(guān)術(shù)語(yǔ)進(jìn)行單獨(dú)查找。專(zhuān)欄作家 Uche Ogbuji 用 Python 編寫(xiě)的示例代碼演示了這項(xiàng)技術(shù)。

既然我已經(jīng)在以前的專(zhuān)欄文章里概述了從 XML 應(yīng)用程序抽取數(shù)據(jù)到 RDF 模型中去的基本技術(shù)，那么可以繼續(xù)獲取這一工作所帶來(lái)的好處。如果最近沒(méi)有閱讀過(guò)前兩個(gè)專(zhuān)題，則在繼續(xù)向下讀之前，可能需要回顧一下它們（請(qǐng)參閱本專(zhuān)欄文章右側(cè)“內(nèi)容”表中“相關(guān)內(nèi)容”這一部分中的鏈接）。

您可能會(huì)想起演示應(yīng)用程序是管理以 XML 格式表示的事件數(shù)據(jù)的問(wèn)題跟蹤器。至此，本專(zhuān)欄已經(jīng)涉及了從這些數(shù)據(jù)抽取 RDF 的技術(shù)，以及查詢(xún)結(jié)果 RDF 模型的基本技術(shù)?，F(xiàn)在，讓我們來(lái)仔細(xì)研究一個(gè)實(shí)例，來(lái)說(shuō)明為什么這些努力是非常有價(jià)值的。

WordNet 簡(jiǎn)介

WordNet 是普林斯頓大學(xué)的一個(gè)項(xiàng)目。該項(xiàng)目被稱(chēng)為“英語(yǔ)詞匯數(shù)據(jù)庫(kù)”，它是這樣一個(gè)系統(tǒng)，通過(guò)將同義詞的集合集中到稱(chēng)為同義詞集（synonym sets）或同義集（synsets）的組中來(lái)描述和分類(lèi)單詞和概念。我不能過(guò)分吹捧這一重要的長(zhǎng)期項(xiàng)目，該項(xiàng)目代表了如此有前景的產(chǎn)業(yè)。因?yàn)樗拈_(kāi)放性意味著實(shí)際上任何開(kāi)發(fā)人員都可以使用它，所以它十分重要。WordNet 有“不受限制的”許可證。它很象 BSD 許可證，因?yàn)槲ㄒ徽嬲南拗剖遣豢梢员I用普林斯頓大學(xué)的商標(biāo)來(lái)宣傳 WordNet 的任何派生產(chǎn)品。

必須指出的是，智力勞動(dòng)的一些最重要的成果被自由用于公益事業(yè)總是件好事。這些天，我們經(jīng)常聽(tīng)到太多有關(guān)一些組織企圖通過(guò)免費(fèi)獲取公共知識(shí)但又拒絕無(wú)償做出貢獻(xiàn)來(lái)獲取可能有問(wèn)題的利潤(rùn)的新聞。

WordNet 目前的版本是 1.7，它包括一個(gè)表示成千上萬(wàn)名詞的同義集詞匯表。同義集是有關(guān)大量概念（包括上義關(guān)系（hyponyms））、其它概念類(lèi)型的概念以及子類(lèi)（上義關(guān)系（hypernym）是下義關(guān)系的超類(lèi)）。WordNet 還包含相似但不同義的概念之間的映射。

普林斯頓分發(fā)的 WordNet 本身是作為用于各種平臺(tái)的數(shù)據(jù)文件和命令行查詢(xún)工具。許多項(xiàng)目都對(duì) WordNet 進(jìn)行了更改和增強(qiáng)，并且由于它表示了構(gòu)造如此良好的資源網(wǎng)絡(luò)，所以 RDF 社區(qū)對(duì)采用 WordNet 尤為積極。幾個(gè)相關(guān)的項(xiàng)目包括 Dan Brickley 的用于 Web 的 WordNet，和 Jonathan Borden 博士的將其改寫(xiě)成可瀏覽的 XHTML 格式。在本文中，我使用了從 WordNet 數(shù)據(jù)庫(kù)到 RDF 的直接轉(zhuǎn)換，感謝 Sergey Melnik 和 Stefan Decker，和 Brickley 和 Borden 一樣，他們倆都忙碌于 RDF 社區(qū)。我所提到的大多數(shù)項(xiàng)目（包括這里使用的 Melnik 和 Decker RDF 轉(zhuǎn)換）仍然是基于 WordNet 1.6。

安裝 WordNet/RDF

本專(zhuān)欄舉例說(shuō)明了使用 RDF 工具和 WordNet RDF 模型將語(yǔ)義特性添加到 RDF 構(gòu)建的問(wèn)題跟蹤器。可以使用任何 RDF 工具，對(duì)其作一些更改來(lái)遵循該過(guò)程。我將使用我公司的開(kāi)放源碼 4Suite 的 4RDF。以 RDF 形式表示的 WordNet 非常巨大，因此將使用 4RDF 的持久數(shù)據(jù)庫(kù)后端來(lái)管理 WordNet。4RDF 允許在內(nèi)存中管理這些模型（這也是到目前為止本系列中一直使用的方法），它也允許在持久存儲(chǔ)（以平面文件的形式存儲(chǔ)的諸如 PostgreSQL 和 Oracle 這樣的 SQL DBMS 中，或存儲(chǔ)在我所編寫(xiě)的實(shí)驗(yàn)性定制 RDF 后端 Mangrove 中）中管理模型。因?yàn)?Mangrove 將可能在 4Suite 的下一個(gè)發(fā)行版本 0.12.0 中首次出現(xiàn)，而它在發(fā)行之前是不能出現(xiàn)的，所以本專(zhuān)欄文章中的示例使用 PostgreSQL。PostgreSQL 是開(kāi)放源代碼，企業(yè)級(jí)的關(guān)系數(shù)據(jù)庫(kù)，許多 Linux 的分發(fā)版（distribution）都帶有它，并且還有可供許多其它平臺(tái)使用的包。

要安裝它，請(qǐng)首先下載 WordNet/RDF 文件。我必須修正幾個(gè)地方，因?yàn)? wordnet_hyponyms-20010201.rdf 文件被毀壞。

我將 58268 行和109228 行進(jìn)行修改。

接下來(lái)，（對(duì)于語(yǔ)義問(wèn)題跟蹤器）將名詞和下義關(guān)系數(shù)據(jù)庫(kù) WordNet RDF 文件添加到基于 PostgreSQL 名為 sit 的 RDF 模型：

清單 1. 將 WordNet RDF 文件添加到名為 sit 的數(shù)據(jù)庫(kù) RDF 模型中

$ 4rdf --driver=Postgres --dbName=sit wordnet_nouns-20010201.rdf

$ 4rdf --driver=Postgres --dbName=sit wordnet_hyponyms-20010201.rdf

如同在清單 1 中所見(jiàn)到的一樣，必須指定 Postgres 驅(qū)動(dòng)程序，這需要指定數(shù)據(jù)庫(kù)名稱(chēng)。如果具有該名稱(chēng)的數(shù)據(jù)庫(kù)不存在，那么將創(chuàng)建該數(shù)據(jù)庫(kù)；如果該數(shù)據(jù)庫(kù)存在，將向該數(shù)據(jù)庫(kù)中添加生成的語(yǔ)句。

在返回到問(wèn)題跟蹤器之前，請(qǐng)?jiān)囍谀壳八鶆?chuàng)建的 WordNet 模型上運(yùn)行簡(jiǎn)單的測(cè)試腳本。

清單 2：練習(xí) WordNet RDF 模型的小測(cè)試程序（wn-test.py）

from Ft.Rdf.Drivers import Postgres

from Ft.Rdf import Model, Util

WN_RDF_BASE = "http://www.cogsci.princeton.edu/~wn/schema/"

def Test():

db = Postgres.GetDb('wordnet')

db.begin()

m = Model.Model(db)

print "Size of the model (number of statements): ", m.size()

print "Synonyms of the word 'knowledge':"

noun = Util.GetSubject(m, WN_RDF_BASE+'wordForm', 'knowledge')

print Util.GetObjects(m, noun, WN_RDF_BASE+'wordForm')

print "Classification chain for 'knowledge':"

HypernymChain(noun, 'knowledge', m)

db.rollback()

return

def HypernymChain(noun, wform, m):

hyper = Util.GetObject(m, noun, WN_RDF_BASE+'hyponymOf')

if hyper:

hwform = Util.GetObject(m, hyper, WN_RDF_BASE+'wordForm')

print "%s is a kind of %s"%(wform, hwform)

HypernymChain(hyper, hwform, m)

return

if __name__ == "__main__":

Test()

在清單 2 中，Postgres.GetDb('sit') 建立到所創(chuàng)建的 RDF 數(shù)據(jù)庫(kù)后端的連接。在建立該連接之后，在后端開(kāi)始了一個(gè)事務(wù)，并使用它來(lái)建立可供查詢(xún)的模型對(duì)象。首先，只要查看一下模型中的語(yǔ)句的數(shù)目。然后，使用在上一篇文章中所介紹的一些 RDF 查詢(xún)的基本類(lèi)型來(lái)查找單詞“knowledge”的同義詞，并跟蹤概念間分類(lèi)鏈。

WordNet/RDF 以如下形式使用 URI

http://www.cogsci.princeton.edu/~wn/concept#100001740

來(lái)表示名詞同義集，其中 100001740 是同義集的標(biāo)識(shí)符。然后，每個(gè)詞（同義集中的每一個(gè)詞）都有一條 wordForm 語(yǔ)句。如果適當(dāng)，還有一條 hyponymOf 語(yǔ)句以將每個(gè)同義集同其超類(lèi)相聯(lián)系。因此，測(cè)試程序按照這一模式使用幾個(gè)簡(jiǎn)單查詢(xún)就可以獲取同義詞。 HypernymChain 是遞歸函數(shù)，該函數(shù)先取得同義集資源以及同義詞中的某一詞的單詞形式，然后查找上義關(guān)系。將該清單保存到稱(chēng)為 wn-test.py 的文件中，并按如下所示運(yùn)行它：

$ python wn-test.py

Size of the model (number of statements): 351632

Synonyms of the word 'knowledge':

['cognition', 'knowledge']

Classification chain for 'knowledge':

knowledge is a kind of psychological feature

問(wèn)題跟蹤器詞匯層

上一個(gè)專(zhuān)題論述了為了抽取序列化 RDF 如何轉(zhuǎn)換多個(gè) XML 文件，然后如何通過(guò) RDF 處理器傳遞結(jié)果?，F(xiàn)在該是將那些語(yǔ)句添加到含有 WordNet 語(yǔ)句的同一個(gè)模型中的時(shí)候了：

$ 4rdf --driver=Postgres --dbName=sit issues.rdf

該代碼再一次指定 Postgres 驅(qū)動(dòng)程序以及與前面相同的數(shù)據(jù)庫(kù)名稱(chēng)，但是，這一次它從 issues.rdf 文件讀取數(shù)據(jù)，如果還記得的話(huà)，該文件包含從樣本問(wèn)題跟蹤器文件中抽取的元數(shù)據(jù)。

現(xiàn)在，可以重新運(yùn)行我們已經(jīng)見(jiàn)過(guò)的查詢(xún)，但這次具有語(yǔ)義能力。例如，在上一個(gè)專(zhuān)題中，演示了使用正則表達(dá)式查找賦予 uogbuji 所有操作（這些操作的主體里含有字符串 vote）的查詢(xún)示例。現(xiàn)在，比如說(shuō)，想查找賦予 uogbuji 有關(guān)一般意義上“選擇”的所有操作。這時(shí)，不用再查找一些字符串模式，取而代之的是，需要語(yǔ)言認(rèn)知層上的真正詞匯模式。正在查找的單詞都帶有“selection”的含義：不僅僅是“vote”，而且還有“choice”和“ballot”。

清單 3 是執(zhí)行該搜索的程序。

清單 3：使用 WordNet，通過(guò)英語(yǔ)語(yǔ)義概念執(zhí)行搜索的程序（seman-search.py）

from Ft.Rdf.Drivers import Postgres

from Ft.Rdf import Model, Util

from Ft.Rdf.Model import REGEX

USER_ID_BASE = 'http://users.rdfinference.org/ril/issue-tracker#'

IT_SCHEMA_BASE = 'http://xmlns.rdfinference.org/ril/issue-tracker#'

WN_RDF_BASE = "http://www.cogsci.princeton.edu/~wn/schema/"

g_relatedWords = []

def SemanSearch(word):

db = Postgres.GetDb('wordnet')

db.begin()

model = Model.Model(db)

#Find the synset resource of which we have the word form

noun = Util.GetSubject(model, WN_RDF_BASE+'wordForm', word)

print 'Actions assigned to uogbuji related to "%s":'%(word)

#Get all word forms of this synset and its hyponyms

HyponymWords(noun, model)

#Combine all the words into one large regular expression

pattern = ".*" + "|".join(g_relatedWords) + ".*"

#Use this regex to search for the appopriate concepts

actions = Util.GetSubjects(model, IT_SCHEMA_BASE+'body', pattern,

objectFlags=REGEX)

#Iterate over the bodies of the matching actions

for action in actions:

#See if this action is assigned to uogbuji

assignee = Util.GetObject(model, action, IT_SCHEMA_BASE+'assign-to')

body = Util.GetObject(model, action, IT_SCHEMA_BASE+'body')

if assignee == USER_ID_BASE+'uogbuji':

print "*", body

db.rollback()

return

def HyponymWords(noun, model):

words = Util.GetObjects(model, noun, WN_RDF_BASE+'wordForm')

print "words", words

g_relatedWords.extend(words)

hypos = Util.GetSubjects(model, WN_RDF_BASE+'hyponymOf', noun)

print "hypos", hypos

for h in hypos:

HyponymWords(h, model)

return

if __name__ == "__main__":

import sys

SemanSearch(sys.argv[1])

在清單 3 中，SemanSearch 是主函數(shù)。它從訪(fǎng)問(wèn)帶有 WordNet 和問(wèn)題跟蹤器數(shù)據(jù)的 RDF 模型開(kāi)始執(zhí)行。該函數(shù)帶有一個(gè) word 參數(shù)：作為概念性搜索基礎(chǔ)的單詞。第一步是將該單詞轉(zhuǎn)換到 WordNet 同義集資源。然后，該程序?qū)⒃撏x集所有其它單詞形式（同義詞），以及下義關(guān)系同義集中所有單詞形式添加到搜索列表。例如，在給定最初的概念：“selection”的情況下開(kāi)始搜索，清單 4 顯示了這次搜索到的所有 89 個(gè)與“selection”的單詞。

清單 4. 搜索“selection”的同義詞和下義關(guān)系的結(jié)果

['choice', 'pick', 'selection', 'casting', 'sampling', 'random

sampling', 'proportional sampling', 'representative sampling',

'stratified sampling', 'conclusion', 'decision', 'determination',

'appointment', 'assignment', 'designation', 'naming', 'nominating',

'nomination', 'co-optation', 'co-option', 'delegacy', 'ordaining',

'ordination', 'laying on of hands', 'call', 'move', 'demarche',

'maneuver', 'maneuvering', 'manoeuvering', 'manoeuvre',

'tactical maneuver', 'tactical manoeuver', 'parking', 'device',

'gimmick', 'twist', 'fast one', 'trick', 'feint', 'gambit', 'ploy',

'stratagem', 'artifice', 'ruse', 'measure', 'step', 'countermeasure',

'countermine', 'porcupine provision', 'shark repellent', 'golden

parachute', 'greenmail', 'pac-man strategy', 'poison pill', 'suicide

pill', 'safe harbor', 'scorched-earth policy', 'casting lots', 'drawing

lots', 'sortition', 'finding', 'finding of fact', 'verdict', 'compromise

verdict', 'quotient verdict', 'directed verdict', 'false verdict',

'general verdict', 'partial verdict', 'special verdict', 'conclusion

of law', 'finding of law', 'volition', 'willing', 'election', 'co-optation',

'co-option', 'ballot', 'balloting', 'vote', 'voting', 'secret ballot',

'split ticket', 'straight ticket', 'multiple voting', 'casting vote',

'veto', 'pocket veto']

為了對(duì)該搜索列表中的單詞（問(wèn)題操作）執(zhí)行一次性搜索，該程序?qū)⑦@些單詞形式放進(jìn)了一個(gè)大的正則表達(dá)式。然后，如同以前專(zhuān)欄文章所說(shuō)明的那樣，操作結(jié)果列表進(jìn)一步縮小到賦給“uogbuji”的操作。以下是運(yùn)行清單 3 中程序（seman-search.py）的結(jié)果：

$ python seman-search.py selection

Actions assigned to uogbuji related to "selection":

* Organize a vote on this topic

在命令行中傳入基本概念（這里是“selection”），并且打印匹配的操作。

并非一切都十全十美

當(dāng)然，這種語(yǔ)義搜索方法還有些問(wèn)題。最明顯的是性能問(wèn)題。WordNet/RDF 圖表的大小使得遍歷的代價(jià)非常高昂。以上面的樣本會(huì)話(huà)為例，使用“selection”作為搜索的基本概念，在 PIII 1GHz 膝上電腦上運(yùn)行，花了兩分多鐘，嚴(yán)重影響了磁盤(pán)上的 DBMS。幾乎所有時(shí)間都花在遞歸向下遍歷下義關(guān)系鏈上。如果搜索諸如“thing” 這樣抽象的概念，我?guī)缀醪桓彝茰y(cè)這要花多長(zhǎng)時(shí)間，它可能會(huì)將機(jī)器掛起（也可能使機(jī)器崩潰）。

和以前專(zhuān)題中一樣，存在該問(wèn)題的部分原因是這個(gè)示例仍然使用一些真正的蠻力的方法來(lái)查詢(xún) RDF 模型。它沒(méi)有真正地利用任何優(yōu)化。當(dāng)在本系列中隨后的文章中，討論 RDF Inference Language （RIL）時(shí)，將提出一些優(yōu)化措施。然而，即便經(jīng)過(guò)優(yōu)化，象這樣功能強(qiáng)大的搜索可能還是有一些難以解決的性能問(wèn)題。

可以通過(guò)策略來(lái)處理一些性能問(wèn)題。譬如，可以禁止搜索超過(guò)某一抽象級(jí)別。一個(gè)比較原始的用以衡量抽象級(jí)別的標(biāo)準(zhǔn)，可能是從同義集到它的最遠(yuǎn)下義關(guān)系的最長(zhǎng)距離。由于大多數(shù)的處理時(shí)間花費(fèi)在遍歷 WordNet 圖表上，因此另外一個(gè)可能的解決方案是，通過(guò)使用搜尋器（crawler）以準(zhǔn)備相關(guān)概念的列表，來(lái)優(yōu)化常見(jiàn)搜索。

另外一個(gè)問(wèn)題是，在 WordNet 上所做的努力還不夠。WordNet 中幾乎映射了所有的常用的名詞或名詞詞組，但卻沒(méi)有映射動(dòng)詞、修飾語(yǔ)以及語(yǔ)言的其它部分。這一點(diǎn)限制了搜索。而且，還有一個(gè)事實(shí)，WordNet 是英語(yǔ)項(xiàng)目，因此其它語(yǔ)言可能還無(wú)法用這種具有強(qiáng)大功能的語(yǔ)義搜索?，F(xiàn)在 EuroWordNet 在開(kāi)發(fā)針對(duì)歐洲語(yǔ)言的映射，但它仍處于開(kāi)發(fā)之中。當(dāng)然，還有許多重要的語(yǔ)系，諸如東亞和中東，可能還沒(méi)有這樣的設(shè)施。

結(jié)束語(yǔ)

我一直很高興地看到人們對(duì)我通過(guò)使用 RDF 語(yǔ)義查詢(xún)使用 RDF 所引起的種種可能性進(jìn)行演示所產(chǎn)生的興奮反應(yīng)。它能幫助人們了解半結(jié)構(gòu)化關(guān)系和元數(shù)據(jù)管理的價(jià)值，因此這簡(jiǎn)直是恩賜，因?yàn)橄蛏馊松踔猎S多開(kāi)發(fā)人員解釋這一概念都不是一件容易的事。我將通過(guò)討論 RDF 驅(qū)動(dòng)的問(wèn)題跟蹤器的詳細(xì)信息，來(lái)繼續(xù)探索使用知識(shí)管理以改進(jìn)應(yīng)用程序。然而，在下一專(zhuān)題中，將暫時(shí)放下這一點(diǎn)，先討論我們?cè)诒緦?zhuān)欄早些時(shí)候討論的一些事物的更新。

參考資料

瀏覽： 知識(shí)管理的基本XML和RDF技術(shù)（一）

知識(shí)管理的基本XML和RDF技術(shù)（二）

知識(shí)管理的基本XML和RDF技術(shù)（四）

知識(shí)管理的基本XML和RDF 技術(shù)（五）

知識(shí)管理的基本XML和RDF技術(shù)（六）