監(jiān)理公司管理系統 | 工程企業(yè)管理系統 | OA系統 | ERP系統 | 造價咨詢管理系統 | 工程設計管理系統 | 甲方項目管理系統 | 簽約案例 | 客戶案例 | 在線試用
X 關閉
庫存檔案

當前位置：工程項目OA系統 > ERP系統 > 功能介紹 > 庫存管理 > 庫存檔案

數據倉庫系統

申請免費試用、咨詢電話：400-8352-114

 　　近年來隨著大數據技術和應用的發(fā)展，數據倉儲需求也急劇增加，存儲成本大幅提高。在此情況下，分級存儲的思想被提出，各種數據分級策略、遷移方法和新的相應存儲平臺涌現。但由于技術發(fā)展的歷史過程，目前企業(yè)中大量數據仍以二維表的形式存儲在關系型數據庫中，完全推翻現有系統架構重建新的存儲平臺，受限于成本、技術實現復雜和對持續(xù)提供服務的需求，通常企業(yè)無法接受。

　　泛普發(fā)現了一種基于傳統關系型數據庫和Hadoop，共同構建的分級存儲管理的數據倉庫系統設計，可作為傳統數據倉庫向分級存儲平臺逐步過渡演進的中間解決方案。

　　數據分類放置指基于數據的訪問、恢復等特征，并根據不同的業(yè)務目標進行劃分存放，以實現基于信息的重要程度對數據進行存儲管理。

e06bf594ebf97e3028fcbcef43daed3.png

　　數據倉庫的特性

　　1、集成性

　　集成性是數據倉庫最重要的特性。數據倉庫中的數據由多個類型的數據源傳輸而來，不論上游數據管理組件是mysql,oracle,tidb,redis,mongodb或者任何沒有聽過的技術名詞，數據進入數據倉庫之后可以使用一種技術進行處理，大大降低了數據的使用難度。

　　當然集成性的具體細節(jié)還包括：

　　碼值一致轉換：上游性別由male/famale,0/1,x/y，統一重新編碼

　　字段類型映射：上游int(11),varchar2,zset等轉為數倉技術字段類型

　　數據傳輸效率：大數據量不必每一次全部傳輸，獲取增量是一個好選擇。

　　2、非易失與隨時間變化

　　當數據從線上傳輸到了數據倉庫時，就留下了數據的快照，絕大部分數據倉庫允許數據24小時的失準時間(t-1)，所以大部分數據倉庫都是每隔一天傳輸一次數據。

744f67be5e7b3bb91567dc07478036c.png

　　3、面向主題

　　面向主題實際上是根據業(yè)務對于數據進行有效編碼，讓理論最佳值在應用中落地。

　　對于一個數據模型，通常近期的數據具有較高的訪問頻度，歷史數據具有較低的訪問頻度。因而最簡單的一種分類方式是基于數據的時間周期和業(yè)務類型劃分在線、離線數據。在線數據保留在數據挖掘建模數據庫上，離線數據定期從數據挖掘建模數據庫遷移到hadoop集群上存放。為了便于數據分類放置，數據建模的物理模型可以采用按時間周期分表或者按時間周期進行表分區(qū)的方式。

　　數據分類放置的策略制定后，通過數據遷移，實際上數據挖掘建模數據庫上保留模型數據的數據周期已固定，不需要再進行存儲策略的管理。但是隨著時間的推移，遷移到Hadoop集群的歷史周期數據會積累的越來越多，占用的存儲會越來越大。而實際上過舊的數據實際上也會失去使用價值，沒必要一直保留。此時需要通過一定的存儲管理策略，對歷史數據進行定期的清理。

發(fā)布：2021-06-10 16:15    編輯：泛普軟件 · luohongying    [打印此頁]    [關閉]