BI+搜索=?

申請免費試用、咨詢電話：400-8352-114

有一種趨勢預測，說BI跟搜索將會結合。關于這個話題，ttnn中曾有所討論，大家也贊同融合搜索是BI的趨勢之一。

以前并沒有細想他們之間的聯(lián)系，他們之間共同點似乎是在一堆亂七八糟的東西里面篩選出有價值的東西。BI號稱從數(shù)據(jù)提取信息，再從信息提取知識。而搜索號稱是從垃圾數(shù)據(jù)里面提取金子。特別后者在對非結構化信息的處理上面，肯定是目前BI的技術不能解決的。將兩者結合成為未來的BI趨勢之一，恐怕得從更高的層面來分析了。

是否是趨勢并不只是看用戶的需求，廠商的宣傳介入力度同樣有很大影響。我想這里頭google的力量不容小覷吧。所以，也不用費腦子去想他是否真的是趨勢，反正在最近幾年里面，很多廠商愿意將兩者綁在一起說事。

上個禮拜，《網(wǎng)絡世界》要針對這個話題采訪我。開始我以為是因為自己跟他們熟絡，找不到人才找我的。但畢竟對這個話題沒有好好考慮，便上網(wǎng)搜了一把。發(fā)現(xiàn)一個問題，國內(nèi)關于搜索和BI結合的文章還真的不多，可見這個趨勢至少在國內(nèi)是還沒見動靜的。搜索出來的鏈接不少，但大多是重復的，轉過來轉過去。轉的較多的主要有兩篇相關的文章。一篇叫做《當搜索遇到商業(yè)智能 BI搜索有何不同？》，看內(nèi)容，恐怕是從國外網(wǎng)站翻譯過來的一篇。另一篇是講google跟BI的，內(nèi)容一樣，名字卻很多種。比如《Google已經(jīng)悄悄部署世界上最大數(shù)據(jù)倉庫》、《BI高攀Google》、《當Google愛上BI》...打開一看，發(fā)現(xiàn)文字很熟悉，看了一半，發(fā)現(xiàn)原來這篇是我自己寫的。這才明白，恐怕記者是先接到了這個選題，也如我這般上網(wǎng)搜索，卻發(fā)現(xiàn)主要這兩篇文章。另一篇找不到主，于是便找到了我。

我一直對這個BI＋搜索不是非常感冒，文章中很明顯表露。不過我是個悲觀主義者。從兩者的技術邏輯看，他們兩個融合并不值得大說特說。但從當今的熱點和市場宣傳出發(fā)，將他們渲染成為一個大趨勢，發(fā)現(xiàn)到也是情理之中的。

BI跟搜索比，顯然在熱度和成熟度方面還不太夠。因此，《BI高攀Google》這個名字真的道出這個潛臺詞。在BI沒有產(chǎn)生新概念的時候，需要引入新的東西，這時候，搜索技術就是個非常好的選擇。這不，cognos、sas、bo紛紛跟google走到一起。而《當google愛上BI》這個標題表達了不同的含義，這意思是說當今的搜索技術需要尋求BI技術的幫助。我認為第一個標題恐怕更加合適，這是目前BI廠商積極推進的另外一個新概念而已。

搜索有專業(yè)的核心技術，有簡潔的應用模式（至少是被證明了的）——一個搜索框就OK了，可以說搜索是技術型的。BI是應用型的，更多是整合之類的事情，跟人打交道比較多，但至今BI的應用模式仍然不夠簡潔。報表恐怕是最簡潔的，但體現(xiàn)的價值有限。其他的諸如OLAP、數(shù)據(jù)挖掘，大家并不容易明白怎么跟自己的業(yè)務結合起來應用。DW、OLAP、DM的概念已經(jīng)毫無新意，BPM、MDM、Operational BI也叫囂好幾年了，需要新概念刺激。也許真的是就是搜索技術。從另一方面分析，BI的核心技術在什么地方，在數(shù)據(jù)整合，在數(shù)據(jù)分析上面。將搜索技術融入其中的一個考慮是將將非結構化數(shù)據(jù)管理起來，這是BI的一個野心，卻有可能偷雞不成蝕把米——反倒丟了自己管理結構化數(shù)據(jù)的地位，那就劃不來了。

將搜索技術融入BI，我想最值得借鑒的就是前者的應用模式。當什么時候BI的應用能夠像提供一個搜索框那樣簡單的界面，屏蔽后臺那些報表、OLAP、挖掘之類的技術，那應該就是BI全面爆發(fā)的時候。

作者：frankwansunny 2007-4-6

我覺得搜索和BI還是有很大不同的，搜索是從數(shù)據(jù)中找到用戶想要的數(shù)據(jù)，BI是從數(shù)據(jù)中找到用戶想要的知識或信息。用戶對BI的期望更高，也自然會有希望越大失望越大的現(xiàn)象。

作者：Qing 2007-4-6

從跟其他人交流中，發(fā)現(xiàn)對"BI+搜索"理解有不同。最早開始討論此問題的時候，曾經(jīng)提出過，搜索只是充當了ETL里面"E"的角色。通常我們說的ETL，是從異構數(shù)據(jù)源抽取數(shù)據(jù)，然后經(jīng)過T、L裝到數(shù)據(jù)倉庫里面。那是結構化數(shù)據(jù)，而加入搜索，擴展了對非結構化數(shù)據(jù)的抽取。比如將競爭對手的信息從web上抓取過來，塞到數(shù)據(jù)倉庫里面，可以作一些競爭情報監(jiān)控和預測之類的應用。

之所以首先蹦出這個想法，恐怕是因為幾年前，有一家公司曾經(jīng)上門演示他們的產(chǎn)品（代理國外的），目標就是作競爭分析的。然后用那種等高線圖來標識出競爭對手活動的重點區(qū)域，以及曝光率之類的。當時，這家公司說這個產(chǎn)品用到了文本挖掘的技術。但現(xiàn)在，主要的搜索引擎都提供對新聞的搜索，可以"訂閱"關鍵字，將相關的鏈接文字內(nèi)容發(fā)到你的郵箱，google、百度都可以。當然，離上面產(chǎn)品的應用還差一截，如果再進一步將哪些鏈接文字轉換成記錄形式，就差不多了。

這是BI和搜索在數(shù)據(jù)層面的合作。另外，還有很多人談的BI＋搜索是指在應用層面的合作。

后者要解決的問題是：現(xiàn)在企業(yè)里面的報表、分析報告、儀表盤太多了，當信息泛濫的時候，需要搜索。

想象一下，一個經(jīng)理上班了。這時候進來一位銷售，說要加薪，不然不干了。這位經(jīng)理看他還比較順眼，說考慮考慮。然后打開電腦，想查一下這位員工的銷售記錄，但不知道哪份報表有這個信息。于是，進入搜索界面，有一個框框，讓他填寫。他輸入了銷售的名字和要查的東東，比如"東方不敗+銷售量"。出來一堆結果，分別鏈接到不同報表或報告去，比如"銷售量趨勢"、"月度考核報告"、"員工績效"、"葵花寶典"...

經(jīng)理點開"葵花寶典"，發(fā)現(xiàn)里面的東方不敗不是自己的員工，關閉寶典。再點開"月度考核報告"，這是份ppt，其中包含了每位銷售在近兩年的銷售業(yè)績情況。發(fā)現(xiàn)東方不敗的業(yè)績在一年前還算優(yōu)異，但從半年前，開始滑坡，在整個公司的業(yè)績排名總是在最后五名里面。其實經(jīng)理對他的印象還是停留在一年前他表現(xiàn)優(yōu)異的時候呢。尋思了一下，講東方不敗叫了進來，說，

"不敗啊，這個...我們公司現(xiàn)在面臨很大的市場壓力啊，大家最近表現(xiàn)的都很不錯，我是非常之感激。所以一直也在積極地為大家爭取獎金和加薪，這一點，你要對我有充分的信任。但是..."

"但是，我們會主要對表現(xiàn)突出的同志進行獎勵，從你最近半年的表現(xiàn)來看，還得加緊啊。我相信以你的實力，是一定能夠超過其他人的....."

東方不敗說，"我暈......"。

這個例子是利用搜索技術，將泛濫的分析結論整合起來，如果再神奇一點，當經(jīng)理點擊搜索的時候，不是返回指向其他報表的鏈接，而是直接返回一張圖表，顯示了東方不敗的銷售量趨勢，那才牛逼呢。這種BI＋搜索，其實是一種對元數(shù)據(jù)的搜索。不過，在我們目前很多BI應用里面，元數(shù)據(jù)的管理還嫩了點，你搜不出啥玩意兒出來。我記得BO在一兩年前的某個版本中有類似的功能，名字叫做Intelligence Question，大意也就是輸入一個問題，幫你搜索相關的報表。但在最近我問在BO工作的老高，他說這個東東似乎已經(jīng)歇菜了。似乎BO現(xiàn)在正在跟google談在搜索方面的合作呢。為什么歇了不好說，但有一個原因可能是——有點太超前。

因此，可以將BI+搜索分成兩種，一種是搜索之上的BI，是將非結構化數(shù)據(jù)納入分析范圍，提升應用范圍的。一種是BI之上的搜索，是改變用戶應用模式的。

另附：

在TDWI找了關于文本分析的一些產(chǎn)品資源，其中有上面提到的BO的那塊，應該叫做Intelligent Question。

80-20 Discovery

80-20 Software Pty. Ltd.  ttp://www.80-20.com/

通過自然語言分析、基于概念的分群以及神經(jīng)網(wǎng)絡技術，處理關鍵字和概念查詢

BusinessObjects Intelligent Question

Business Objects SA http://www.businessobjects.com/

工作流驅動的系統(tǒng)，讓非技術人員輸入自然語言查詢

ClearForest

ClearForest Corp. http://www.clearforest.com/

對大型文本使用語義/統(tǒng)計技術識別關聯(lián)的數(shù)據(jù)并打標簽，生成豐富標簽的XML文本

Content Extractor

Pervasive Software Inc. http://www.pervasive.com/

從文本創(chuàng)建結構化數(shù)據(jù)；自動創(chuàng)建抽取規(guī)則。之前是Data Junction產(chǎn)品

DB/TextWorks

Inmagic Inc. http://www.inmagic.com/

融合數(shù)據(jù)庫管理和文本提取系統(tǒng)，提供關鍵字搜索、報表和XML發(fā)布

Documentum Content Intelligence Services

EMC Corp. http://www.emc.com/

自動化的元數(shù)據(jù)標簽、分類、關聯(lián)定義，為非結構化數(shù)據(jù)增加關聯(lián)性；提供預構建的分類庫

EchoMail Business Intelligence

EchoMail Inc. http://www.echomail.com/

使用模式識別、自然語言分析、神經(jīng)網(wǎng)絡來進行email分析，分類并監(jiān)控收到和發(fā)出的email

Endeca Navigation Engine

Endeca Technologies Inc. http://www.endeca.com/

使用元關系索引（"meta-relational indexing"）來整合、組織、瀏覽及查詢非結構化數(shù)據(jù)

Enterprise Text Extraction Solution

Attensity Corp.

將非結構化數(shù)據(jù)轉成結構化的，關系型數(shù)據(jù)，并與其他結構化數(shù)據(jù)結合，產(chǎn)生可行動的決策信息

FAST ESP

Fast Search & Transfer (FAST)

基于結構化和非結構化數(shù)據(jù)，提供 面向企業(yè)搜索和分析應用平臺

FindEngine

Hapax Information Systems AB

獲專利的自然語言引擎，包括文本分析、查詢管理和索引等部件

IDOL

Autonomy Corp.

對文本和其他非結構化數(shù)據(jù)進行訪問、分類、分析的企業(yè)平臺

InFact

Insightful Corp.

文本分析、搜索以及分類的解決方案，基于計算語言學的準專利技術

Intellexer

EffectiveSoft

提供Windows、Linux下的文本分析SDK，為定制搜索引擎、知識管理開發(fā)應用

Intelligent Miner for Text

IBM Corporation

非結構化數(shù)據(jù)的挖掘工具，提供搜索和分析，特征聚類，分類，匯總和特征提取

Interwoven MetaTagger

Interwoven Inc.

一種自動化工具，使用元數(shù)據(jù)來提高非結構化內(nèi)容的關聯(lián)性、搜索精度，達到自助服務讓分析變得簡單

Inxight MetaText Server

Inxight Software Inc.

識別內(nèi)容和文本的上下文環(huán)境，抽取出"元文本"metatext，并索引

IxReveal

Intelligenxia Inc.

從非結構化文本（.doc,pdf,email等）檢查關系、異常，跟關系型數(shù)據(jù)進行整合，提供非結構化數(shù)據(jù)分析

LexiQuest Mine

SPSS Inc.

文本挖掘和計算語言學技術，SPSS買下的LexiQuest一部分

metaMarker

Languistics

機器學習，自然語言分析技術，挖掘email、語音文本，支持客戶服務和email監(jiān)控

MindServer

Recommind Inc.

語言無關的實體抽取平臺，處理對非結構化數(shù)據(jù)的提取和分類

Mohomine

Kofax Image Products Inc.

模式識別軟件，具有語言無關性，支持BI、CRM和HR。

Oracle Text

Oracle Corporation

之前叫做interMedia Text，使用SQL來索引、搜索并分析Oracle數(shù)據(jù)庫，文件系統(tǒng)以及Web上的文本。

ProIndex

Cadesa LLC

讓開發(fā)者將全文檢索功能融合到應用程序里面去，例如對布爾、通配符、短語、近義詞等處理。

Readware Information Processor

Management Information Technologies Inc.

識別200以上種數(shù)據(jù)格式，查詢工具可以支持對主題、實體的分析和索引

RetrievalWare

Convera Corp.

知識發(fā)現(xiàn)工具，提供語義概念、模式、是非搜索，有特定行業(yè)解決方案

Rosette Linguistics Platform

Basis Technology Corp.

可以對數(shù)10種亞洲、歐洲和中東預演進行分析、索引和搜索

SemioDiscovery

Entrieva Inc.

基于分類技術對非結構化內(nèi)容生成主題結構，提供預警、可視化和集成的搜索

Speed Index Server

Speed of Mind

統(tǒng)計熵搜索生成查詢語言到關系排名的映射（Qing:啥意思，比較深奧，看原文Statistical entropy searches generate query language mappings for relevance ranking ）

Stratify Discovery System

Stratify Inc.

Flagship product 將非結構化文本信息組織、分類并表現(xiàn)成定制的主題結構

TEMIS Text Intelligence

TEMIS

五種產(chǎn)品套件，使用數(shù)據(jù)算法、語言學算法將文本結構化，分類并分析

Teragram Suite

Teragram Corp.

包括模式匹配、語言學搜索/提取，概念提取、索引、分類管理等技術

TeraText Database System

SAIC

SAIC 單元提供數(shù)據(jù)管理系統(tǒng)，存儲、操作、分析海量文本數(shù)據(jù)

Texis

Thunderstone Software

文本挖掘、全文自然預演提取引擎，集成入SQL關系數(shù)據(jù)庫，提供模糊邏輯、實時agent搜索

Text Miner

SAS Institute Inc.

SAS數(shù)據(jù)挖掘工具種的文本挖掘部分，提供單獨的文本挖掘API

TextAnalyst

Megaputer

語義網(wǎng)絡種支持文本分析的語言學和神經(jīng)網(wǎng)絡技術

TextPipe Pro

Business Objects SA

非結構化數(shù)據(jù)處理和分析，包括文本、HTML、二進制文件，提供抽取、模式和大小寫匹配

VisualText

Text Analysis International Inc.

構建文本分析器、自然語言分析和信息抽取系統(tǒng)的開發(fā)環(huán)境IDE，混合語法、模式、關鍵字和統(tǒng)計學

WebFountain

IBM Corporation

IBM Research technology 搜集、分析、存儲文本；自然語言分析、統(tǒng)計、概率和模式識別

WebQL

QL2 Software Inc.

Web、文本挖掘引擎，對非結構化的互聯(lián)網(wǎng)和內(nèi)部網(wǎng)數(shù)據(jù)源進行分析，提供成熟的并行引擎和開發(fā)環(huán)境

WebSphere Content Discovery Server

IBM Corporation

對非結構化數(shù)據(jù)的多語種自然語言搜索瀏覽工具，支持電子商務、自主服務、呼叫中心、企業(yè)門戶、分析。前身為iPhrase

WizDoc

WizSoft Inc.

關鍵字和自然語言分析引擎

WordStat

Provalis Research  http://www.provalisresearch.com/

Provalis SimStat和CodeMiner數(shù)據(jù)挖掘工具的文本挖掘，內(nèi)容分析插件

(AMT)