BI+搜索=?

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

有一種趨勢預(yù)測，說BI跟搜索將會(huì)結(jié)合。關(guān)于這個(gè)話題，ttnn中曾有所討論，大家也贊同融合搜索是BI的趨勢之一。

以前并沒有細(xì)想他們之間的聯(lián)系，他們之間共同點(diǎn)似乎是在一堆亂七八糟的東西里面篩選出有價(jià)值的東西。BI號(hào)稱從數(shù)據(jù)提取信息，再從信息提取知識(shí)。而搜索號(hào)稱是從垃圾數(shù)據(jù)里面提取金子。特別后者在對(duì)非結(jié)構(gòu)化信息的處理上面，肯定是目前BI的技術(shù)不能解決的。將兩者結(jié)合成為未來的BI趨勢之一，恐怕得從更高的層面來分析了。

是否是趨勢并不只是看用戶的需求，廠商的宣傳介入力度同樣有很大影響。我想這里頭google的力量不容小覷吧。所以，也不用費(fèi)腦子去想他是否真的是趨勢，反正在最近幾年里面，很多廠商愿意將兩者綁在一起說事。

上個(gè)禮拜，《網(wǎng)絡(luò)世界》要針對(duì)這個(gè)話題采訪我。開始我以為是因?yàn)樽约焊麄兪旖j(luò)，找不到人才找我的。但畢竟對(duì)這個(gè)話題沒有好好考慮，便上網(wǎng)搜了一把。發(fā)現(xiàn)一個(gè)問題，國內(nèi)關(guān)于搜索和BI結(jié)合的文章還真的不多，可見這個(gè)趨勢至少在國內(nèi)是還沒見動(dòng)靜的。搜索出來的鏈接不少，但大多是重復(fù)的，轉(zhuǎn)過來轉(zhuǎn)過去。轉(zhuǎn)的較多的主要有兩篇相關(guān)的文章。一篇叫做《當(dāng)搜索遇到商業(yè)智能 BI搜索有何不同？》，看內(nèi)容，恐怕是從國外網(wǎng)站翻譯過來的一篇。另一篇是講google跟BI的，內(nèi)容一樣，名字卻很多種。比如《Google已經(jīng)悄悄部署世界上最大數(shù)據(jù)倉庫》、《BI高攀Google》、《當(dāng)Google愛上BI》...打開一看，發(fā)現(xiàn)文字很熟悉，看了一半，發(fā)現(xiàn)原來這篇是我自己寫的。這才明白，恐怕記者是先接到了這個(gè)選題，也如我這般上網(wǎng)搜索，卻發(fā)現(xiàn)主要這兩篇文章。另一篇找不到主，于是便找到了我。

我一直對(duì)這個(gè)BI＋搜索不是非常感冒，文章中很明顯表露。不過我是個(gè)悲觀主義者。從兩者的技術(shù)邏輯看，他們兩個(gè)融合并不值得大說特說。但從當(dāng)今的熱點(diǎn)和市場宣傳出發(fā)，將他們渲染成為一個(gè)大趨勢，發(fā)現(xiàn)到也是情理之中的。

BI跟搜索比，顯然在熱度和成熟度方面還不太夠。因此，《BI高攀Google》這個(gè)名字真的道出這個(gè)潛臺(tái)詞。在BI沒有產(chǎn)生新概念的時(shí)候，需要引入新的東西，這時(shí)候，搜索技術(shù)就是個(gè)非常好的選擇。這不，cognos、sas、bo紛紛跟google走到一起。而《當(dāng)google愛上BI》這個(gè)標(biāo)題表達(dá)了不同的含義，這意思是說當(dāng)今的搜索技術(shù)需要尋求BI技術(shù)的幫助。我認(rèn)為第一個(gè)標(biāo)題恐怕更加合適，這是目前BI廠商積極推進(jìn)的另外一個(gè)新概念而已。

搜索有專業(yè)的核心技術(shù)，有簡潔的應(yīng)用模式（至少是被證明了的）——一個(gè)搜索框就OK了，可以說搜索是技術(shù)型的。BI是應(yīng)用型的，更多是整合之類的事情，跟人打交道比較多，但至今BI的應(yīng)用模式仍然不夠簡潔。報(bào)表恐怕是最簡潔的，但體現(xiàn)的價(jià)值有限。其他的諸如OLAP、數(shù)據(jù)挖掘，大家并不容易明白怎么跟自己的業(yè)務(wù)結(jié)合起來應(yīng)用。DW、OLAP、DM的概念已經(jīng)毫無新意，BPM、MDM、Operational BI也叫囂好幾年了，需要新概念刺激。也許真的是就是搜索技術(shù)。從另一方面分析，BI的核心技術(shù)在什么地方，在數(shù)據(jù)整合，在數(shù)據(jù)分析上面。將搜索技術(shù)融入其中的一個(gè)考慮是將將非結(jié)構(gòu)化數(shù)據(jù)管理起來，這是BI的一個(gè)野心，卻有可能偷雞不成蝕把米——反倒丟了自己管理結(jié)構(gòu)化數(shù)據(jù)的地位，那就劃不來了。

將搜索技術(shù)融入BI，我想最值得借鑒的就是前者的應(yīng)用模式。當(dāng)什么時(shí)候BI的應(yīng)用能夠像提供一個(gè)搜索框那樣簡單的界面，屏蔽后臺(tái)那些報(bào)表、OLAP、挖掘之類的技術(shù)，那應(yīng)該就是BI全面爆發(fā)的時(shí)候。

作者：frankwansunny 2007-4-6

我覺得搜索和BI還是有很大不同的，搜索是從數(shù)據(jù)中找到用戶想要的數(shù)據(jù)，BI是從數(shù)據(jù)中找到用戶想要的知識(shí)或信息。用戶對(duì)BI的期望更高，也自然會(huì)有希望越大失望越大的現(xiàn)象。

作者：Qing 2007-4-6

從跟其他人交流中，發(fā)現(xiàn)對(duì)"BI+搜索"理解有不同。最早開始討論此問題的時(shí)候，曾經(jīng)提出過，搜索只是充當(dāng)了ETL里面"E"的角色。通常我們說的ETL，是從異構(gòu)數(shù)據(jù)源抽取數(shù)據(jù)，然后經(jīng)過T、L裝到數(shù)據(jù)倉庫里面。那是結(jié)構(gòu)化數(shù)據(jù)，而加入搜索，擴(kuò)展了對(duì)非結(jié)構(gòu)化數(shù)據(jù)的抽取。比如將競爭對(duì)手的信息從web上抓取過來，塞到數(shù)據(jù)倉庫里面，可以作一些競爭情報(bào)監(jiān)控和預(yù)測之類的應(yīng)用。

之所以首先蹦出這個(gè)想法，恐怕是因?yàn)閹啄昵埃幸患夜驹?jīng)上門演示他們的產(chǎn)品（代理國外的），目標(biāo)就是作競爭分析的。然后用那種等高線圖來標(biāo)識(shí)出競爭對(duì)手活動(dòng)的重點(diǎn)區(qū)域，以及曝光率之類的。當(dāng)時(shí)，這家公司說這個(gè)產(chǎn)品用到了文本挖掘的技術(shù)。但現(xiàn)在，主要的搜索引擎都提供對(duì)新聞的搜索，可以"訂閱"關(guān)鍵字，將相關(guān)的鏈接文字內(nèi)容發(fā)到你的郵箱，google、百度都可以。當(dāng)然，離上面產(chǎn)品的應(yīng)用還差一截，如果再進(jìn)一步將哪些鏈接文字轉(zhuǎn)換成記錄形式，就差不多了。

這是BI和搜索在數(shù)據(jù)層面的合作。另外，還有很多人談的BI＋搜索是指在應(yīng)用層面的合作。

后者要解決的問題是：現(xiàn)在企業(yè)里面的報(bào)表、分析報(bào)告、儀表盤太多了，當(dāng)信息泛濫的時(shí)候，需要搜索。

想象一下，一個(gè)經(jīng)理上班了。這時(shí)候進(jìn)來一位銷售，說要加薪，不然不干了。這位經(jīng)理看他還比較順眼，說考慮考慮。然后打開電腦，想查一下這位員工的銷售記錄，但不知道哪份報(bào)表有這個(gè)信息。于是，進(jìn)入搜索界面，有一個(gè)框框，讓他填寫。他輸入了銷售的名字和要查的東東，比如"東方不敗+銷售量"。出來一堆結(jié)果，分別鏈接到不同報(bào)表或報(bào)告去，比如"銷售量趨勢"、"月度考核報(bào)告"、"員工績效"、"葵花寶典"...

經(jīng)理點(diǎn)開"葵花寶典"，發(fā)現(xiàn)里面的東方不敗不是自己的員工，關(guān)閉寶典。再點(diǎn)開"月度考核報(bào)告"，這是份ppt，其中包含了每位銷售在近兩年的銷售業(yè)績情況。發(fā)現(xiàn)東方不敗的業(yè)績?cè)谝荒昵斑€算優(yōu)異，但從半年前，開始滑坡，在整個(gè)公司的業(yè)績排名總是在最后五名里面。其實(shí)經(jīng)理對(duì)他的印象還是停留在一年前他表現(xiàn)優(yōu)異的時(shí)候呢。尋思了一下，講東方不敗叫了進(jìn)來，說，

"不敗啊，這個(gè)...我們公司現(xiàn)在面臨很大的市場壓力啊，大家最近表現(xiàn)的都很不錯(cuò)，我是非常之感激。所以一直也在積極地為大家爭取獎(jiǎng)金和加薪，這一點(diǎn)，你要對(duì)我有充分的信任。但是..."

"但是，我們會(huì)主要對(duì)表現(xiàn)突出的同志進(jìn)行獎(jiǎng)勵(lì)，從你最近半年的表現(xiàn)來看，還得加緊啊。我相信以你的實(shí)力，是一定能夠超過其他人的....."

東方不敗說，"我暈......"。

這個(gè)例子是利用搜索技術(shù)，將泛濫的分析結(jié)論整合起來，如果再神奇一點(diǎn)，當(dāng)經(jīng)理點(diǎn)擊搜索的時(shí)候，不是返回指向其他報(bào)表的鏈接，而是直接返回一張圖表，顯示了東方不敗的銷售量趨勢，那才牛逼呢。這種BI＋搜索，其實(shí)是一種對(duì)元數(shù)據(jù)的搜索。不過，在我們目前很多BI應(yīng)用里面，元數(shù)據(jù)的管理還嫩了點(diǎn)，你搜不出啥玩意兒出來。我記得BO在一兩年前的某個(gè)版本中有類似的功能，名字叫做Intelligence Question，大意也就是輸入一個(gè)問題，幫你搜索相關(guān)的報(bào)表。但在最近我問在BO工作的老高，他說這個(gè)東東似乎已經(jīng)歇菜了。似乎BO現(xiàn)在正在跟google談在搜索方面的合作呢。為什么歇了不好說，但有一個(gè)原因可能是——有點(diǎn)太超前。

因此，可以將BI+搜索分成兩種，一種是搜索之上的BI，是將非結(jié)構(gòu)化數(shù)據(jù)納入分析范圍，提升應(yīng)用范圍的。一種是BI之上的搜索，是改變用戶應(yīng)用模式的。

另附：

在TDWI找了關(guān)于文本分析的一些產(chǎn)品資源，其中有上面提到的BO的那塊，應(yīng)該叫做Intelligent Question。

80-20 Discovery

80-20 Software Pty. Ltd.  ttp://www.80-20.com/

通過自然語言分析、基于概念的分群以及神經(jīng)網(wǎng)絡(luò)技術(shù)，處理關(guān)鍵字和概念查詢

BusinessObjects Intelligent Question

Business Objects SA http://www.businessobjects.com/

工作流驅(qū)動(dòng)的系統(tǒng)，讓非技術(shù)人員輸入自然語言查詢

ClearForest

ClearForest Corp. http://www.clearforest.com/

對(duì)大型文本使用語義/統(tǒng)計(jì)技術(shù)識(shí)別關(guān)聯(lián)的數(shù)據(jù)并打標(biāo)簽，生成豐富標(biāo)簽的XML文本

Content Extractor

Pervasive Software Inc. http://www.pervasive.com/

從文本創(chuàng)建結(jié)構(gòu)化數(shù)據(jù)；自動(dòng)創(chuàng)建抽取規(guī)則。之前是Data Junction產(chǎn)品

DB/TextWorks

Inmagic Inc. http://www.inmagic.com/

融合數(shù)據(jù)庫管理和文本提取系統(tǒng)，提供關(guān)鍵字搜索、報(bào)表和XML發(fā)布

Documentum Content Intelligence Services

EMC Corp. http://www.emc.com/

自動(dòng)化的元數(shù)據(jù)標(biāo)簽、分類、關(guān)聯(lián)定義，為非結(jié)構(gòu)化數(shù)據(jù)增加關(guān)聯(lián)性；提供預(yù)構(gòu)建的分類庫

EchoMail Business Intelligence

EchoMail Inc. http://www.echomail.com/

使用模式識(shí)別、自然語言分析、神經(jīng)網(wǎng)絡(luò)來進(jìn)行email分析，分類并監(jiān)控收到和發(fā)出的email

Endeca Navigation Engine

Endeca Technologies Inc. http://www.endeca.com/

使用元關(guān)系索引（"meta-relational indexing"）來整合、組織、瀏覽及查詢非結(jié)構(gòu)化數(shù)據(jù)

Enterprise Text Extraction Solution

Attensity Corp.

將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)成結(jié)構(gòu)化的，關(guān)系型數(shù)據(jù)，并與其他結(jié)構(gòu)化數(shù)據(jù)結(jié)合，產(chǎn)生可行動(dòng)的決策信息

FAST ESP

Fast Search & Transfer (FAST)

基于結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，提供 面向企業(yè)搜索和分析應(yīng)用平臺(tái)

FindEngine

Hapax Information Systems AB

獲專利的自然語言引擎，包括文本分析、查詢管理和索引等部件

IDOL

Autonomy Corp.

對(duì)文本和其他非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行訪問、分類、分析的企業(yè)平臺(tái)

InFact

Insightful Corp.

文本分析、搜索以及分類的解決方案，基于計(jì)算語言學(xué)的準(zhǔn)專利技術(shù)

Intellexer

EffectiveSoft

提供Windows、Linux下的文本分析SDK，為定制搜索引擎、知識(shí)管理開發(fā)應(yīng)用

Intelligent Miner for Text

IBM Corporation

非結(jié)構(gòu)化數(shù)據(jù)的挖掘工具，提供搜索和分析，特征聚類，分類，匯總和特征提取

Interwoven MetaTagger

Interwoven Inc.

一種自動(dòng)化工具，使用元數(shù)據(jù)來提高非結(jié)構(gòu)化內(nèi)容的關(guān)聯(lián)性、搜索精度，達(dá)到自助服務(wù)讓分析變得簡單

Inxight MetaText Server

Inxight Software Inc.

識(shí)別內(nèi)容和文本的上下文環(huán)境，抽取出"元文本"metatext，并索引

IxReveal

Intelligenxia Inc.

從非結(jié)構(gòu)化文本（.doc,pdf,email等）檢查關(guān)系、異常，跟關(guān)系型數(shù)據(jù)進(jìn)行整合，提供非結(jié)構(gòu)化數(shù)據(jù)分析

LexiQuest Mine

SPSS Inc.

文本挖掘和計(jì)算語言學(xué)技術(shù)，SPSS買下的LexiQuest一部分

metaMarker

Languistics

機(jī)器學(xué)習(xí)，自然語言分析技術(shù)，挖掘email、語音文本，支持客戶服務(wù)和email監(jiān)控

MindServer

Recommind Inc.

語言無關(guān)的實(shí)體抽取平臺(tái)，處理對(duì)非結(jié)構(gòu)化數(shù)據(jù)的提取和分類

Mohomine

Kofax Image Products Inc.

模式識(shí)別軟件，具有語言無關(guān)性，支持BI、CRM和HR。

Oracle Text

Oracle Corporation

之前叫做interMedia Text，使用SQL來索引、搜索并分析Oracle數(shù)據(jù)庫，文件系統(tǒng)以及Web上的文本。

ProIndex

Cadesa LLC

讓開發(fā)者將全文檢索功能融合到應(yīng)用程序里面去，例如對(duì)布爾、通配符、短語、近義詞等處理。

Readware Information Processor

Management Information Technologies Inc.

識(shí)別200以上種數(shù)據(jù)格式，查詢工具可以支持對(duì)主題、實(shí)體的分析和索引

RetrievalWare

Convera Corp.

知識(shí)發(fā)現(xiàn)工具，提供語義概念、模式、是非搜索，有特定行業(yè)解決方案

Rosette Linguistics Platform

Basis Technology Corp.

可以對(duì)數(shù)10種亞洲、歐洲和中東預(yù)演進(jìn)行分析、索引和搜索

SemioDiscovery

Entrieva Inc.

基于分類技術(shù)對(duì)非結(jié)構(gòu)化內(nèi)容生成主題結(jié)構(gòu)，提供預(yù)警、可視化和集成的搜索

Speed Index Server

Speed of Mind

統(tǒng)計(jì)熵搜索生成查詢語言到關(guān)系排名的映射（Qing:啥意思，比較深?yuàn)W，看原文Statistical entropy searches generate query language mappings for relevance ranking ）

Stratify Discovery System

Stratify Inc.

Flagship product 將非結(jié)構(gòu)化文本信息組織、分類并表現(xiàn)成定制的主題結(jié)構(gòu)

TEMIS Text Intelligence

TEMIS

五種產(chǎn)品套件，使用數(shù)據(jù)算法、語言學(xué)算法將文本結(jié)構(gòu)化，分類并分析

Teragram Suite

Teragram Corp.

包括模式匹配、語言學(xué)搜索/提取，概念提取、索引、分類管理等技術(shù)

TeraText Database System

SAIC

SAIC 單元提供數(shù)據(jù)管理系統(tǒng)，存儲(chǔ)、操作、分析海量文本數(shù)據(jù)

Texis

Thunderstone Software

文本挖掘、全文自然預(yù)演提取引擎，集成入SQL關(guān)系數(shù)據(jù)庫，提供模糊邏輯、實(shí)時(shí)agent搜索

Text Miner

SAS Institute Inc.

SAS數(shù)據(jù)挖掘工具種的文本挖掘部分，提供單獨(dú)的文本挖掘API

TextAnalyst

Megaputer

語義網(wǎng)絡(luò)種支持文本分析的語言學(xué)和神經(jīng)網(wǎng)絡(luò)技術(shù)

TextPipe Pro

Business Objects SA

非結(jié)構(gòu)化數(shù)據(jù)處理和分析，包括文本、HTML、二進(jìn)制文件，提供抽取、模式和大小寫匹配

VisualText

Text Analysis International Inc.

構(gòu)建文本分析器、自然語言分析和信息抽取系統(tǒng)的開發(fā)環(huán)境IDE，混合語法、模式、關(guān)鍵字和統(tǒng)計(jì)學(xué)

WebFountain

IBM Corporation

IBM Research technology 搜集、分析、存儲(chǔ)文本；自然語言分析、統(tǒng)計(jì)、概率和模式識(shí)別

WebQL

QL2 Software Inc.

Web、文本挖掘引擎，對(duì)非結(jié)構(gòu)化的互聯(lián)網(wǎng)和內(nèi)部網(wǎng)數(shù)據(jù)源進(jìn)行分析，提供成熟的并行引擎和開發(fā)環(huán)境

WebSphere Content Discovery Server

IBM Corporation

對(duì)非結(jié)構(gòu)化數(shù)據(jù)的多語種自然語言搜索瀏覽工具，支持電子商務(wù)、自主服務(wù)、呼叫中心、企業(yè)門戶、分析。前身為iPhrase

WizDoc

WizSoft Inc.

關(guān)鍵字和自然語言分析引擎

WordStat

Provalis Research  http://www.provalisresearch.com/

Provalis SimStat和CodeMiner數(shù)據(jù)挖掘工具的文本挖掘，內(nèi)容分析插件

(AMT)