數(shù)據(jù)倉庫應(yīng)用行業(yè)有別

申請免費試用、咨詢電話：400-8352-114

由于來自國內(nèi)和國外的競爭日趨激勵以及對精細(xì)化管理的迫切需求，使得無論是金融企業(yè)、電信企業(yè)，還是制造企業(yè)，都對企業(yè)級數(shù)據(jù)倉庫應(yīng)用產(chǎn)生了強(qiáng)烈的興趣，并且已經(jīng)有許多企業(yè)進(jìn)行了大量的實際應(yīng)用的部署。

今天的IT業(yè)界對于采用集中式的數(shù)據(jù)倉庫進(jìn)行業(yè)務(wù)決策分析，恐怕已經(jīng)有比較一致的贊同觀點了，甚至有不少人認(rèn)為，這種方式是實現(xiàn)商業(yè)智能（Business Intelligence，BI）的最佳途徑。因為全球的信息化進(jìn)程發(fā)展到今天，人們恐怕難以想象，如果沃爾瑪不通過它的衛(wèi)星把來自全球的賣場信息實時傳送到位于美國的集中的數(shù)據(jù)倉庫中，它又怎能面向全球眾多賣場和眾多有著完全不同消費習(xí)慣的消費者做出合理的營銷決策。同樣，在銀行，幾乎沒有人會認(rèn)為，采用相互獨立的視圖對信用卡數(shù)據(jù)和信貸數(shù)據(jù)進(jìn)行獨立分析能做出準(zhǔn)確的判斷并提出恰當(dāng)?shù)娘L(fēng)險控制或者營銷上的決策。

而近日，記者在由NCR Teradata數(shù)據(jù)倉庫事業(yè)部舉辦的“2006 Teradata數(shù)據(jù)倉庫峰會”上了解到，上述趨勢也正在中國得到越來越多的體現(xiàn)。但無論是金融企業(yè)、電信企業(yè)，還是制造企業(yè)，它們在基本需求一致的情況下，都存在一些特定的需求，所以相應(yīng)解決方案的設(shè)計也應(yīng)有的放矢。

金融、電信、制造業(yè)需求不同

為了實現(xiàn)對金融機(jī)構(gòu)的數(shù)據(jù)信息進(jìn)行持續(xù)的系統(tǒng)監(jiān)測和分析，早在2003年11月，銀監(jiān)會就計劃用三年左右的時間建立一個“統(tǒng)一規(guī)劃、統(tǒng)一管理、統(tǒng)一標(biāo)準(zhǔn)、資源共享”的非現(xiàn)場檢查信息技術(shù)平臺。銀監(jiān)會稱其為“1104工程”。隨著該工程的推進(jìn)，銀監(jiān)會提出精細(xì)化監(jiān)管的思路，對整個監(jiān)管業(yè)務(wù)流程進(jìn)行了重新設(shè)計。新的業(yè)務(wù)流程亦是一條完整的信息流，每一監(jiān)管環(huán)節(jié)都將被記錄到銀監(jiān)會新的數(shù)據(jù)系統(tǒng)中，使被監(jiān)管機(jī)構(gòu)各方面包括歷年的所有信息都一目了然。另外，新巴塞爾協(xié)議也要求銀行能夠保存更詳盡、歷史更長的業(yè)務(wù)數(shù)據(jù)。NCR Teradata數(shù)據(jù)倉庫事業(yè)部首席技術(shù)官，被業(yè)界公認(rèn)為全球數(shù)據(jù)倉庫技術(shù)先驅(qū)的寶立明先生認(rèn)為，推動中國銀行業(yè)積極采用數(shù)據(jù)倉庫技術(shù)的一個重要動力正是來自于這一系列越來越嚴(yán)格的監(jiān)管措施。因為，正如NCR Teradata數(shù)據(jù)倉庫事業(yè)部大中華區(qū)總裁吳輔世所言，數(shù)據(jù)大集中使得銀行業(yè)有了很好的數(shù)據(jù)基礎(chǔ)，數(shù)據(jù)質(zhì)量得到很大提高，而利用數(shù)據(jù)倉庫可以進(jìn)一步為決策者提供一個單一數(shù)據(jù)視圖，使各級決策者的決策基礎(chǔ)保持一致，從而避免分散決策。

寶立明認(rèn)為，數(shù)據(jù)倉庫最大的優(yōu)勢就在于能夠通過單一視圖提供深入細(xì)致的信息，使得金融企業(yè)可以改變傳統(tǒng)的被動的風(fēng)險控制方式，而在風(fēng)險發(fā)生之前就能從深入的數(shù)據(jù)分析中發(fā)現(xiàn)風(fēng)險發(fā)生的端倪，進(jìn)而采取主動的防范和控制。作為NCR Teradata在中國的一個重要客戶，上海證券交易所信息網(wǎng)絡(luò)公司董事長趙小平說，證券監(jiān)管、防范交易欺詐等都是交易所的重要職能，但是相關(guān)的分析工作涉及許多非結(jié)構(gòu)化的紙面文件。按照有關(guān)規(guī)定，這些紙面文件必須保留20年，但是時間一長紙面文件難免會破損，降低甚至喪失法律效力。因此，對非結(jié)構(gòu)化數(shù)據(jù)的處理是上交所數(shù)據(jù)倉庫系統(tǒng)的重要工作之一。如今，上交所已經(jīng)完成了對包括600萬頁紙質(zhì)非結(jié)構(gòu)化數(shù)據(jù)在內(nèi)的十幾個TB的數(shù)據(jù)的清理工作，僅2002年完成的一期項目就為15個業(yè)務(wù)部門提供了200多項應(yīng)用。如今，該項目的二期也已經(jīng)順利完成。

不同于金融業(yè)在監(jiān)管壓力下產(chǎn)生的需求，在中國，電信業(yè)則是由于競爭程度的加劇，尤其是固話運營商存量客戶流失率的攀升，使得電信運營商已開始考慮精細(xì)化管理和營銷，而這是離不開數(shù)據(jù)倉庫的支持的。而且，3G業(yè)務(wù)的風(fēng)生水起也帶來了許多新的業(yè)務(wù)形式，將來這些業(yè)務(wù)的開展也離不開數(shù)據(jù)倉庫的支持。因此，中國移動目前已經(jīng)在總公司和全國9個省級公司建立企業(yè)級數(shù)據(jù)倉庫。另外，中國電信也從2003年下半年同數(shù)據(jù)倉庫廠商NCR Teradata合作，在全國兩個省級公司——浙江省和新疆維吾爾自治區(qū)進(jìn)行相關(guān)建設(shè)的試點。而目前，試點工作已經(jīng)取得階段性成果。

除此之外，在此次數(shù)據(jù)倉庫峰會上，高科技的電子制造企業(yè)（臺積電、奇美電器等）也成為數(shù)據(jù)倉庫應(yīng)用的一支新生力量。很多制造企業(yè)在完成ERP等基礎(chǔ)運營系統(tǒng)的建設(shè)后，仍然面臨生產(chǎn)系統(tǒng)數(shù)據(jù)和管理系統(tǒng)數(shù)據(jù)的分割，無法進(jìn)行整體決策。在報表分析方面，雖然erp系統(tǒng)可以產(chǎn)生一些分析報表，但這些報表大多是固定報表，無法靈活、動態(tài)地適應(yīng)企業(yè)的決策需要。于是，為了提供進(jìn)一步的決策支持，許多制造企業(yè)開始利用數(shù)據(jù)倉庫對ERP等系統(tǒng)產(chǎn)生的數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換和裝載（ETL），為決策層提供可追蹤的、可審計的數(shù)據(jù)分析服務(wù)。

解決方案須量體裁衣

盡管，不同的行業(yè)對數(shù)據(jù)倉庫的需求存在許多共性，例如隨著企業(yè)規(guī)模的擴(kuò)大，如果按照行政部門進(jìn)行分散決策、分散保有數(shù)據(jù)，將不能滿足新的決策需求，企業(yè)需要在統(tǒng)一的數(shù)據(jù)視圖下進(jìn)行整合的決策。但是，寶立明認(rèn)為，不同的企業(yè)在決策的重點和數(shù)據(jù)量上存在較大的差別，以至于在具體解決方案的設(shè)計上也會有相應(yīng)的區(qū)別。

例如，銀行業(yè)關(guān)注的重點在于風(fēng)險的控制上，而不存在供應(yīng)鏈管理的問題。相反，在制造業(yè)，供應(yīng)鏈的管理決策將是其關(guān)注的重點，除此之外，產(chǎn)品的質(zhì)量控制也是制造業(yè)的決策重點。同樣在數(shù)據(jù)量上，電信企業(yè)的數(shù)據(jù)量是最大的，零售業(yè)次之，制造業(yè)也是比較大的，相比之下，銀行的數(shù)據(jù)量是比較小的，寶立明舉例說明:和電信企業(yè)相比，人們存取錢的頻率顯然要比打電話的頻率低得多。

于是解決方案在設(shè)計上也應(yīng)該針對不同的側(cè)重點有所區(qū)別。

對于銀行業(yè)，為了符合新巴塞爾資本協(xié)議AIRB登記的需求，需要采用集中式的數(shù)據(jù)倉庫解決方案。在這種方式中，所新巴塞爾資本協(xié)議所需的數(shù)據(jù)及其來源系統(tǒng)均被明白地標(biāo)示出來，當(dāng)然，銀行內(nèi)可能不具備某些特定的數(shù)據(jù)，因此必須建立一套數(shù)據(jù)搜尋計劃。此處所有的來源系統(tǒng)數(shù)據(jù)都經(jīng)過加載及轉(zhuǎn)換的程序，然后送到中央數(shù)據(jù)存放系統(tǒng)。而支持新巴塞爾資本協(xié)議所需計算及報告數(shù)據(jù)，不論是營運單位層級或是整體企業(yè)層級，都是由這個中央數(shù)據(jù)存放系統(tǒng)來提供。這種方式支持了各式各樣的數(shù)據(jù)存取，包括將數(shù)據(jù)送至某一特定的應(yīng)用程序或計算及分析工具。這樣，就可以將風(fēng)險數(shù)據(jù)進(jìn)行一次性存儲，可以供整個企業(yè)運用，進(jìn)行各種分析。金融業(yè)整合的風(fēng)險管理架構(gòu)如圖1所示。

而對于電信企業(yè)，由于運營商之間的競爭日益加劇，使得經(jīng)營分析和決策支持成為基于企業(yè)級數(shù)據(jù)倉庫應(yīng)用的重點。同時，由于電信企業(yè)數(shù)據(jù)量極大，所以數(shù)據(jù)集中和整合將是系統(tǒng)建設(shè)的最大挑戰(zhàn)，也是數(shù)據(jù)倉庫能否在營銷上發(fā)揮作用的前提和基礎(chǔ)。以中國電信為例，其IT系統(tǒng)以本地網(wǎng)模式為主，客戶、用戶資料分散，系統(tǒng)數(shù)據(jù)眾多，差異巨大，結(jié)構(gòu)復(fù)雜，多個系統(tǒng)在不同時期分別建設(shè)，缺乏統(tǒng)一的規(guī)劃和關(guān)聯(lián)。面對這種情況，建立全省統(tǒng)一的數(shù)據(jù)模型、實現(xiàn)全省標(biāo)準(zhǔn)化的代碼管理、統(tǒng)一統(tǒng)計口徑，采用閉環(huán)的數(shù)據(jù)質(zhì)量管理辦法和流程就變得非常重要。電信業(yè)數(shù)據(jù)倉庫系統(tǒng)架構(gòu)如圖2所示。

鏈接:數(shù)據(jù)倉庫“牛市”顯身手

“對不起，原本計劃由我們交易所的總工程師白碩給大家做主題發(fā)言的，但是白總臨時去參加證監(jiān)會召開的一個重要會議了，只好由我代替他來做這個發(fā)言了?！边@是上海證券交易所信息網(wǎng)絡(luò)公司董事長趙小平在“2006 Teradata數(shù)據(jù)倉庫峰會”上做主題發(fā)言時的開場白。

原來，伴隨今年以來中國股市出現(xiàn)的多年以來罕見的牛市，受不斷攀升的股價影響，股民進(jìn)出市場的意愿空前高漲，上海證券交易所日均交易量明顯放大，目前已高達(dá)500多億元。值得欣慰的是，該交易所在2002年由路透咨詢公司協(xié)助規(guī)劃、設(shè)計、選型，至今已經(jīng)完成二期項目的數(shù)據(jù)倉庫系統(tǒng)在此期間表現(xiàn)相當(dāng)不錯。按照每筆交易平均12000元（該數(shù)據(jù)是今年的統(tǒng)計結(jié)果，去年每筆交易大約為9000元）計算，500多億元總交易量大概需要處理500萬筆交易。這樣的交易筆數(shù)之高即使在倫敦證券交易所也是沒有的。而如此眾多的交易數(shù)據(jù)，僅僅需要半個小時就可以被清理并存入數(shù)據(jù)倉庫。趙小平不無驕傲地說：“在這次股市大潮中，我們的數(shù)據(jù)倉庫沒有拖后腿?！?

然而與之形成對比的是，在交易量猛增的情況下，券商信息系統(tǒng)建設(shè)的滯后，形成股市整體交易的瓶頸，造成大量交易堵塞。據(jù)趙小平介紹，這也正是白碩總工程師參加緊急會議的主要原因。