商務智能系統(tǒng)實現(xiàn)數(shù)據(jù)管理的技術

申請免費試用、咨詢電話：400-8352-114

無論是商業(yè)企業(yè)、科研機構或者政府部門，在過去若干年的時間里都積累了海量的、以不同形式存儲的數(shù)據(jù)資料。但當面對越來越多迅速膨脹的超級數(shù)據(jù)庫時，人們卻無從著手去理解數(shù)據(jù)中包含的信息，更難以獲得有價值的知識。然而這些信息數(shù)據(jù)記載著企業(yè)的生命軌跡，蘊含著企業(yè)的發(fā)展方向，由于采用普通的聯(lián)機事物處理技術(OLTP)的信息系統(tǒng)無法同時滿足高效作業(yè)和決策支持的兩項需求，造成了海量數(shù)據(jù)與信息“孤島”的并存。好在人們已經(jīng)感受到了危險的降臨，商務智能軟件已悄然而生并越來越受到世人的重視。

1．商務智能的定義

商務智能(Business Intelligence)的定義眾說紛紜，Gartner Group認為“商務智能是將數(shù)據(jù)轉換成信息的過程，然后通過發(fā)現(xiàn)將信息轉化為知識”；商務智能大師利奧托德認為“商務智能是將存儲于各種商業(yè)信息系統(tǒng)中的數(shù)據(jù)轉換成有用信息的技術，它允許用戶查詢和分析數(shù)據(jù)庫，可以得出影響商業(yè)活動的關鍵因素，最終幫助用戶做出更好更合理的決策”。

筆者在總結了商務智能的相關定義之后，將商務智能定義為：商務智能是指利用現(xiàn)代信息技術收集、管理和分析存儲于各種商業(yè)信息系統(tǒng)中的數(shù)據(jù)，使之轉換成有用信息，并以可視化的形式加以表現(xiàn)，使企業(yè)的各級決策者獲得知識和洞察力，促使他們做出對企業(yè)更有利的決策的技術。

目前，各個行業(yè)都面對著激烈的競爭，及時、準確的決策已成為企業(yè)生存與發(fā)展的生命線。隨著信息技術在企業(yè)中的普遍應用，企業(yè)產(chǎn)生了大量富有價值的電子數(shù)據(jù)。但這些數(shù)據(jù)大都存儲于不同的系統(tǒng)中，數(shù)據(jù)的定義和格式也不統(tǒng)一，商務智能系統(tǒng)能從不同的數(shù)據(jù)源搜集的數(shù)據(jù)中提取有用的數(shù)據(jù)，并對這些數(shù)據(jù)進行清洗，以確保數(shù)據(jù)的正確性，在對數(shù)據(jù)進行轉換、重構等操作后，將其存入數(shù)據(jù)倉庫或數(shù)據(jù)集市中；再運用適合的查詢分析工具、數(shù)據(jù)挖掘工具、OLAP工具等管理分析工具對信息進行處理，使信息變?yōu)檩o助決策的知識，并將知識以適當?shù)姆绞秸故驹跊Q策者面前，供決策者運籌帷幄。

2．商務智能系統(tǒng)的基本架構

美國數(shù)據(jù)倉庫研究院把商務智能比作“數(shù)據(jù)煉油廠”，它將商務智能的應用過程描述為“數(shù)據(jù)一信息一知識一計劃一行動”的過程。

根據(jù)對商務智能的理解，借鑒美國數(shù)據(jù)倉庫研究院的“數(shù)據(jù)煉油廠”，給出商務智能系統(tǒng)的架構，如圖一所示：

圖一 商務智能系統(tǒng)架構

1)數(shù)據(jù)源層——商務智能系統(tǒng)的數(shù)據(jù)來源，它存儲著系統(tǒng)所需的最原始的數(shù)據(jù)以及數(shù)據(jù)之間的關系，保持著歷史的真實性。

2)數(shù)據(jù)整合層——商務智能系統(tǒng)的根本要求，它將來自不同數(shù)據(jù)源的信息合并為相同的信息結構，消除重復、無效和界外的數(shù)據(jù)，提取、凈化和傳遞數(shù)據(jù)到為數(shù)據(jù)倉庫設立的文件中。

3)數(shù)據(jù)倉庫層——商務智能系統(tǒng)的基礎，是數(shù)據(jù)分析的源數(shù)據(jù)，保存著大量的、面向主題的、集成的數(shù)據(jù)。

4)數(shù)據(jù)分析層——體現(xiàn)系統(tǒng)智能的關鍵，它一般采用OLAP技術和數(shù)據(jù)挖掘技術對數(shù)據(jù)進行分析和處理。

5)數(shù)據(jù)展現(xiàn)層——它向商務智能環(huán)境的收益者提供實際的分析結果，同時保證系統(tǒng)分析結果的可視化，形式有報表、圖表、數(shù)據(jù)表等。

3．商務智能系統(tǒng)的關鍵技術

對商務智能系統(tǒng)的架構進行分析可以看出，商務智能系統(tǒng)對數(shù)據(jù)實行分析管理的關鍵技術如下：

3.1 數(shù)據(jù)倉庫技術

數(shù)據(jù)倉庫之父w．H．Inmon博士對數(shù)據(jù)倉庫的定義得到了大多數(shù)學者和工程人員的接受：“數(shù)據(jù)倉庫是面向主題的、集成的、穩(wěn)定的、隨時間變化的數(shù)據(jù)集合，它用以支持經(jīng)營管理中的決策制定過程?！庇纱硕x可以看出，數(shù)據(jù)倉庫具有如下特性：

(1)面向主題性

面向主題性是數(shù)據(jù)倉庫中數(shù)據(jù)組織的基本原則，數(shù)據(jù)倉庫中的所有數(shù)據(jù)都是圍繞著某一主題組織和展開的，每個主題對應一個客觀分析領域。

(2)數(shù)據(jù)集成性

數(shù)據(jù)倉庫的集成性是指根據(jù)決策分析的要求，將分散于各處的源數(shù)據(jù)進行抽取、篩選、清理、綜合等，使數(shù)據(jù)倉庫中的數(shù)據(jù)具有集成性。

(3)數(shù)據(jù)的穩(wěn)定性

數(shù)據(jù)的穩(wěn)定性說明數(shù)據(jù)倉庫中的數(shù)據(jù)不會像業(yè)務處理系統(tǒng)中的數(shù)據(jù)庫那樣進行日常的添加、修改、刪除等操作，而是很少發(fā)生更新處理，表現(xiàn)出相當程度的穩(wěn)定性。

(4)數(shù)據(jù)的時變性

數(shù)據(jù)倉庫的時變性，即數(shù)據(jù)倉庫中的數(shù)據(jù)應該隨著時間的推移而發(fā)生變化。數(shù)據(jù)倉庫要能夠捕捉業(yè)務系統(tǒng)中的數(shù)據(jù)變化，定期將變化的數(shù)據(jù)追加到數(shù)據(jù)倉庫中來，還要將達到一定年限或規(guī)定時間的歷史數(shù)據(jù)進行刪除。

(5)數(shù)據(jù)的集合性

數(shù)據(jù)的集合性是指數(shù)據(jù)倉庫必須以某種數(shù)據(jù)集合的形式存儲起來，數(shù)據(jù)倉庫采用的數(shù)據(jù)集合方式主要有以多維數(shù)據(jù)庫方式存儲的多維模式、以關系數(shù)據(jù)庫方式存儲的關系模式，以及多維模式和關系模式混合的模式。

(6)決策支持作用

決策支持作用是數(shù)據(jù)倉庫一個核心的應用，建立數(shù)據(jù)倉庫的目的是將企業(yè)多年來收集到的數(shù)據(jù)按照一個統(tǒng)一的規(guī)則組織存儲，然后通過對海量的數(shù)據(jù)進行分析提供決策支持，幫助企業(yè)及時、準確地把握機會，以在激烈的市場競爭中取得最大的利潤。

數(shù)據(jù)倉庫技術是信息技術飛速發(fā)展的結果，它與傳統(tǒng)的面向操作的數(shù)據(jù)庫技術相比有很大的不同，從結構上看，數(shù)據(jù)倉庫主要包括：數(shù)據(jù)源、數(shù)據(jù)準備區(qū)、數(shù)據(jù)倉庫數(shù)據(jù)庫、數(shù)據(jù)集市／知識挖掘庫、管理工具和應用工具等部分。如圖二所示：

圖二 數(shù)據(jù)倉庫的系統(tǒng)結構

數(shù)據(jù)源——數(shù)據(jù)倉庫的數(shù)據(jù)來源。

數(shù)據(jù)準備區(qū)——數(shù)據(jù)源中的數(shù)據(jù)經(jīng)抽取、轉換最終成為數(shù)據(jù)倉庫所需要的數(shù)據(jù)。

數(shù)據(jù)倉庫數(shù)據(jù)庫——負責存儲用于分析、決策的數(shù)據(jù)，包含對元數(shù)據(jù)的管理。

數(shù)據(jù)集市／知識挖掘庫——局部數(shù)據(jù)倉庫或部門數(shù)據(jù)倉庫，為指定的應用提供數(shù)據(jù)。

管理工具和應用工具——包括各種對數(shù)據(jù)倉庫的數(shù)據(jù)分析和數(shù)據(jù)訪問，如利用OLAP進行數(shù)據(jù)分析，數(shù)據(jù)倉庫應用程序等。

3.2 OLAP分析技術

OLAP是獨立于數(shù)據(jù)倉庫的一種技術概念，其基本思想是使得企業(yè)的管理決策人員能夠靈活地操縱企業(yè)的數(shù)據(jù)，以多維的形式從多方面和多角度觀察企業(yè)的狀態(tài)和變化趨勢。

OLAP最早是由E．F．Codd于1993年提出的，當時，Codd認為聯(lián)機事務處理(OLTP)已經(jīng)不能滿足終端用戶對數(shù)據(jù)庫查詢分析的需要，SQL對大數(shù)據(jù)庫進行的簡單查詢也不能滿足用戶分析的需求。用戶的決策分析需要對關系數(shù)據(jù)庫進行大量計算才能得到結果，而查詢的結果并不能滿足決策者提出的需求。因此Codd提出了多維數(shù)據(jù)庫和多維分析的概念，即OLAP。它是針對特定問題的聯(lián)機數(shù)據(jù)訪問和分析。通過對多維數(shù)據(jù)的多種可能的觀察形式進行快速、穩(wěn)定、一致和交互性的存取，允許管理決策人員對數(shù)據(jù)進行深入觀察。

OLAP的多維分析是指對多維數(shù)據(jù)集中的數(shù)據(jù)用切片(二維)、切塊(三維)、鉆取(向下鉆取和向上鉆取，鉆取的深度與維所劃分的層次相對應)、旋轉(通過旋轉可以得到不同視角的數(shù)據(jù))等方式分析數(shù)據(jù)，使用戶從多個角度、多個側面去觀察數(shù)據(jù)倉庫中的數(shù)據(jù)。通過這種方法能夠使分析人員深入的了解數(shù)據(jù)倉庫中數(shù)據(jù)所蘊含的信息，從而挖掘隱藏在數(shù)據(jù)背后的商業(yè)模式。

在BI的建設過程中，數(shù)據(jù)倉庫和數(shù)據(jù)集市都是數(shù)據(jù)的存儲區(qū)域。都在為數(shù)據(jù)的在線分析和挖掘提供數(shù)據(jù)源。數(shù)據(jù)倉庫和數(shù)據(jù)集市主要是范圍的不同。數(shù)據(jù)倉庫面向企業(yè)的所有部門，所以它的需求是全企業(yè)范圍的，一般情況下，它的數(shù)據(jù)按照第三范式組織。數(shù)據(jù)集市是面向企業(yè)的某一個部門的，需求比較集中，以多維方式的形式管理數(shù)據(jù)。

3.3 數(shù)據(jù)挖掘技術

W．J．Frawley，G．PiatetskyShapiro等人指出，數(shù)據(jù)挖掘就是從大型數(shù)據(jù)庫的數(shù)據(jù)中提取人們感興趣的知識，這螳知識是隱含的、事先未知的、潛在有用的信息，提取的知識可表示為概念、規(guī)則、規(guī)律、模式等形式。

3.3.1 數(shù)據(jù)挖掘研究的主要內(nèi)容

數(shù)據(jù)挖掘所發(fā)現(xiàn)的知識最常見的有以下四類。

(1)廣義知識

廣義知識指類別特征為概括性描述的知識，是根據(jù)數(shù)據(jù)的微觀特性發(fā)現(xiàn)其表征的、帶有普遍性的、較高層次概念的、中觀和宏觀的知識，反映同類事物共同性質，是對數(shù)據(jù)的概括、精煉和抽象。廣義知識的發(fā)現(xiàn)方法和實現(xiàn)技術有很多，如數(shù)據(jù)立方體、面向屬性的歸約等。

(2)關聯(lián)知識

關聯(lián)知識是指反映一個事件和其他事件之間信賴或關聯(lián)的知識。如果兩項或多項屬性之間存在關聯(lián)，那么其中一項的屬性值就可以依據(jù)其他屬性值進行預測。最為著名的關聯(lián)規(guī)則發(fā)現(xiàn)方法是R．Agrawal提出來的Apriori算法。

(3)分類知識

分類知識是反映同類事物共同性質的特征型和不同事物之間的差異特征型知識。最為典型的分類方法是基于決策樹的分類方法，還有統(tǒng)計、粗糙集(Rough Set)、神經(jīng)網(wǎng)絡等方法。

(4)預測型知識

預測型知識根據(jù)時間序列型數(shù)據(jù)，由歷史的和當前的數(shù)據(jù)去推測未來的數(shù)據(jù)，也可以認為它是以時間為關鍵屬性的關聯(lián)知識。目前，時問序列預測方法有經(jīng)典的統(tǒng)計方法、神經(jīng)網(wǎng)絡和機器學習等。

此外，還可以發(fā)現(xiàn)其他類型的知識，如偏差型知識，它是對差異和極端特例的描述，揭示事物偏離常規(guī)的異?，F(xiàn)象，如標準類外的特例，數(shù)據(jù)聚類外的離群值等。所有這些知識都可以在不同的概念層次上被發(fā)現(xiàn)，并隨著概念層次的提升，從微觀到中觀、到宏觀，以滿足不同用戶不同層次決策的需要。

3.3.2 數(shù)據(jù)挖掘的常用技術

(1)神經(jīng)網(wǎng)絡：它從結構上模仿生物神經(jīng)元結構，是一種通過訓練來學習的非線性預測模型，可以完成分類、聚類、特征采掘等多種挖掘任務。

(2)決策樹：代表著決策集的樹形結構。

(3)規(guī)則推導：從統(tǒng)計意義上對數(shù)據(jù)中的“如果-那么”規(guī)則進行尋找和推導。

(4)遺傳算法：基于進化理論，并采用遺傳結合、遺傳變異以及自然選擇等設計方法的優(yōu)化技術。

(5)近鄰算法：將數(shù)據(jù)集合中每一記錄進行分類的方法。這種技術通過K個與之最相近的歷史記錄的組合來辨別新的記錄。

3.4 數(shù)據(jù)倉庫和OLAP與數(shù)據(jù)挖掘的關系

數(shù)據(jù)挖掘不是必須基于數(shù)據(jù)倉庫的，數(shù)據(jù)挖掘能夠通過數(shù)據(jù)抽取、數(shù)據(jù)預處理和轉換等操作自己完成數(shù)據(jù)挖掘前的準備工作，繼而進行數(shù)據(jù)挖掘。然而這部分的工作需要耗費大量的時間和精力，而進行數(shù)據(jù)挖掘又無法避開這些操作，因此將數(shù)據(jù)挖掘工作基于數(shù)據(jù)倉庫技術來進行，能夠省去數(shù)據(jù)的前期準備等工作，大大提高數(shù)據(jù)挖掘效率。因為數(shù)據(jù)倉庫在建立的時候，已經(jīng)完成了數(shù)據(jù)的抽取、轉換和加載等操作。

OLAP作為數(shù)據(jù)倉庫中的關鍵技術，其可以在使用多維數(shù)據(jù)模型的數(shù)據(jù)倉庫或數(shù)據(jù)集市上進行，充分發(fā)揮OLAP的聯(lián)機分析的功能和特性。將OLAP與數(shù)據(jù)挖掘進行結合，能夠為數(shù)據(jù)挖掘提供基礎數(shù)據(jù)支持，提高數(shù)據(jù)挖掘的效率，而且還可以實現(xiàn)聯(lián)機分析數(shù)據(jù)挖掘的功能。用戶常常希望穿越數(shù)據(jù)庫，選擇相關數(shù)據(jù)，在不同的粒度上進行分析，并以不同的形式顯示結果。聯(lián)機分析數(shù)據(jù)挖掘提供了在不同的數(shù)據(jù)子集和不同的抽象層上進行數(shù)據(jù)挖掘的工具，在數(shù)據(jù)立方體和挖掘的中間結果數(shù)據(jù)上進行下鉆、上卷、旋轉、切片、切塊等操作，提高數(shù)據(jù)挖掘探測性的數(shù)據(jù)分析的能力和靈活性。

采用數(shù)據(jù)挖掘與數(shù)據(jù)倉庫和OLAP技術有機結合的方式，可以使數(shù)據(jù)挖掘具有更高的實用性和高效性。

4．結 語

隨著市場競爭的日益加劇，國內(nèi)外眾多商務智能軟件公司開發(fā)了數(shù)據(jù)分析和數(shù)據(jù)挖掘軟件來分析海量數(shù)據(jù)，幫助管理者穿越數(shù)據(jù)迷霧，賦予數(shù)據(jù)第二次生命，相信在不久的將來，人們在面對大量的數(shù)據(jù)時不再感到迷茫，而是能夠以用戶需要的方式重新組織這些數(shù)據(jù)，并通過對這些數(shù)據(jù)的分析，挖掘出潛在的模式，有效地預測市場的行為，做出正確的決策。（萬方數(shù)據(jù)）