網(wǎng)格環(huán)境下的數(shù)據(jù)庫系統(tǒng)

申請免費試用、咨詢電話：400-8352-114

數(shù)據(jù)庫技術和其他計算機技術相結合，能夠產(chǎn)生新的研究領域。例如，數(shù)據(jù)庫技術和面向?qū)ο蠹夹g相結合就產(chǎn)生了面向?qū)ο髷?shù)據(jù)庫;數(shù)據(jù)庫技術和網(wǎng)格技術相結合也就產(chǎn)生一個新的研究內(nèi)容，稱之為網(wǎng)格數(shù)據(jù)庫。網(wǎng)格數(shù)據(jù)庫當前的主要研究內(nèi)容包括三個方面：網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)、網(wǎng)格數(shù)據(jù)庫集成和支持新的網(wǎng)格應用。

網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)

網(wǎng)格提供一個平臺，這個平臺支持系統(tǒng)化的身份鑒別和授權、資源發(fā)現(xiàn)、數(shù)據(jù)傳輸、進程創(chuàng)建和調(diào)度，以及跨異構平臺的動態(tài)綁定。在網(wǎng)格提供的這些功能的基礎上，可以構造一個安全可靠、具有自主計算能力的高性能網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)。網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)最終將成為網(wǎng)格上的一種重要資源，提供數(shù)據(jù)管理服務。

在構建網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)方面，第一步的工作是提供一個中間件，將數(shù)據(jù)庫管理系統(tǒng)包裝成為網(wǎng)格服務，以便網(wǎng)格應用存取網(wǎng)格數(shù)據(jù)庫。這種做法的好處是，對已有的數(shù)據(jù)庫管理系統(tǒng)基本上不需要做什么改動。

進一步的工作是擴展已有的數(shù)據(jù)庫管理系統(tǒng)，讓它直接利用網(wǎng)格提供的功能來實現(xiàn)分布式的數(shù)據(jù)庫和相關的網(wǎng)格服務。下面是一些擴展已有數(shù)據(jù)庫管理系統(tǒng)時可做的工作：

●在網(wǎng)格上，用戶只需要登錄一次，就可以使用網(wǎng)格上所有可用的資源。網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)需要支持網(wǎng)格中這種一致性的身份鑒別和授權機制。

●很多網(wǎng)格應用程序在提交任務給數(shù)據(jù)庫管理系統(tǒng)后，需要收到一個任務完成的通知，解決這種訂閱/發(fā)布問題需要結合網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)的觸發(fā)器機制和網(wǎng)格中的通知服務。

●在網(wǎng)格中，查詢結果可以被緩存以便傳送給第三方，這意味著，在一個不確定的時間內(nèi)，網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)必須保留結果，然后利用網(wǎng)格數(shù)據(jù)傳輸機制傳送查詢結果到第三方。

●在網(wǎng)格中，分布式查詢處理可以利用網(wǎng)格的資源發(fā)現(xiàn)機制了解網(wǎng)絡的狀態(tài)、獲得合適的資源來運行分布式查詢或存儲中間結果。

●網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)應提供資源預留功能，以便參與網(wǎng)格中的進程調(diào)度。

●網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)應該能為網(wǎng)格記賬和支付標準提供必要的信息，以便用戶為資源的使用付費。

有些網(wǎng)格問題不是通過簡單地擴展已有的數(shù)據(jù)庫管理系統(tǒng)就能夠解決的。下面舉幾個例子來說明這一點：

●網(wǎng)格當中計算和數(shù)據(jù)資源之間耦合得很緊密，這對于數(shù)據(jù)庫的查詢優(yōu)化是一個挑戰(zhàn)。計算任務在哪里執(zhí)行、需不需要遷移、數(shù)據(jù)怎樣存放、存放在哪里、如何調(diào)度在數(shù)據(jù)上的操作和計算任務、短期優(yōu)化還是長期優(yōu)化等等，都需要在查詢優(yōu)化時給予一個整體的、多角度的考慮。

●在網(wǎng)格中，當數(shù)據(jù)的規(guī)模增長到一定的程度時，傳輸在這些數(shù)據(jù)上的計算代碼會比傳輸所有數(shù)據(jù)更為經(jīng)濟。數(shù)據(jù)上的計算比數(shù)據(jù)庫支持的數(shù)據(jù)查詢要復雜，它可以生成大量的中間結果，需要大量的處理器和在多個網(wǎng)格結點間傳輸大量的數(shù)據(jù)。對于數(shù)據(jù)上的計算還需要進行監(jiān)控。當前的數(shù)據(jù)庫管理系統(tǒng)并未準備好成為這種大型計算的宿主，也不支持所需要的監(jiān)控接口。

●傳統(tǒng)的數(shù)據(jù)庫管理系統(tǒng)是一個復雜的系統(tǒng)，運行時作為一個整體消耗大量的資源。網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)最好能由一些組件構成，這些組件可以根據(jù)需要來組合完成數(shù)據(jù)庫管理系統(tǒng)的部分或者全部功能。這樣做的好處除了可以降低資源消耗，更重要的是，使得在整個系統(tǒng)規(guī)模的基礎上優(yōu)化使用數(shù)據(jù)庫資源成為可能。

●在網(wǎng)格中使用注冊的方法來發(fā)布和查找資源。數(shù)據(jù)庫里面存儲有大量的元數(shù)據(jù)，手工注冊這么多元數(shù)據(jù)是不可行的，但是又如何來完成自動注冊呢?自動注冊的問題不在于注冊這些元數(shù)據(jù)到網(wǎng)格中，而在于注冊時如何保證這些元數(shù)據(jù)能為第三方所理解。這個問題也是網(wǎng)格數(shù)據(jù)庫集成時需要解決的問題。

網(wǎng)格數(shù)據(jù)庫集成

因為網(wǎng)格的主要目標是支持在共享資源上的協(xié)同工作，所以網(wǎng)格數(shù)據(jù)庫集成是目前網(wǎng)格數(shù)據(jù)管理的研究熱點。網(wǎng)格數(shù)據(jù)庫集成就是使用兩個或多個網(wǎng)格數(shù)據(jù)庫中的信息，并使用這些信息構建一個大的數(shù)據(jù)庫。

目前有三種網(wǎng)格數(shù)據(jù)庫集成策略：

●虛擬數(shù)據(jù)庫 虛擬數(shù)據(jù)庫是一個聯(lián)邦數(shù)據(jù)庫，它只有一個聯(lián)邦模式，所有的用戶都無法覺察到多個獨立的數(shù)據(jù)庫存在的事實。虛擬數(shù)據(jù)庫在概念上是受歡迎的，但是難以實現(xiàn)。在構造虛擬數(shù)據(jù)庫時，需要考慮以下幾種透明性：異構透明性、命名透明性、屬主和費用透明性、并行透明性和分布透明性。

●定制集成 這種方式是指由應用程序自己完成數(shù)據(jù)庫集成。例如，在有的科學應用程序中，開發(fā)人員自己找到相關的數(shù)據(jù)源，然后將集成任務劃分為查詢、要執(zhí)行的程序、中間數(shù)據(jù)源的構建、顯式的數(shù)據(jù)傳輸和數(shù)據(jù)變換，以及存儲結果等等。網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)應該提供對這種集成方式的支持，使之降低成本、減少時間耗費和錯誤的發(fā)生。

●增量集成 虛擬數(shù)據(jù)庫是一個理想目標，定制集成又過于注重細節(jié)，增量集成居于兩者之間。在增量集成中，開發(fā)人員無須完成集成的每一個細節(jié)，高級的數(shù)據(jù)存取和集成組件可以自動完成一些后期的集成步驟。

元數(shù)據(jù)管理在網(wǎng)格數(shù)據(jù)庫集成時扮演著關鍵的角色。網(wǎng)格數(shù)據(jù)庫中與集成有關的元數(shù)據(jù)包括這樣幾類：技術元數(shù)據(jù)定義數(shù)據(jù)源所在的位置、物理數(shù)據(jù)的結構和組織形式、數(shù)據(jù)的存取方法和傳輸方式、以及數(shù)據(jù)的歷史和屬主等等;上下文元數(shù)據(jù)定義命名方式、術語和本體，它遵循約定的語法和語義，可以提高數(shù)據(jù)的質(zhì)量和可靠性;派生元數(shù)據(jù)定義由其他數(shù)據(jù)派生的數(shù)據(jù)的含義和上下文組成;映射元數(shù)據(jù)定義上下文元數(shù)據(jù)定義間以及上下文元數(shù)據(jù)和技術元數(shù)據(jù)間的等價性。

元數(shù)據(jù)在數(shù)據(jù)庫集成時引發(fā)了很多問題。例如，不同的數(shù)據(jù)庫系統(tǒng)具有不同的元數(shù)據(jù)模型，標準的元數(shù)據(jù)定義方法肯定有利于網(wǎng)格數(shù)據(jù)庫集成。目前，全球網(wǎng)格論壇數(shù)據(jù)領域的DFDL(Data Format Description Language)工作組在做的一件事，就是定義一種基于XML的語言來給出數(shù)據(jù)庫中元數(shù)據(jù)的標準表示。而正在研究中的語義網(wǎng)格，也將能有助于解決涉及元數(shù)據(jù)語義方面的問題。

支持新的網(wǎng)格應用

應用能有力地推動技術的發(fā)展。研究對于數(shù)據(jù)庫領域來說相對比較新的網(wǎng)格應用可以有力地推動數(shù)據(jù)庫技術的發(fā)展。數(shù)據(jù)流處理、信息檢索和科學數(shù)據(jù)分析等都是網(wǎng)格應用。其他的網(wǎng)格應用還有網(wǎng)格數(shù)據(jù)挖掘、網(wǎng)格計算機集成制造系統(tǒng)、網(wǎng)格數(shù)字圖書館等。目前國內(nèi)外開展的大部分的網(wǎng)格項目都是網(wǎng)格應用項目，而且多數(shù)是服務于科學研究的需要。網(wǎng)格應用會給傳統(tǒng)的數(shù)據(jù)庫技術帶來一些新的問題，下面以網(wǎng)格上的科學研究(也被稱為e-Science)來說明這一點。

在網(wǎng)格上的科學研究中，對數(shù)據(jù)的使用有兩個重要的方面：一方面，數(shù)據(jù)是數(shù)據(jù)挖掘和假設檢驗的信息源;另一方面，共享數(shù)據(jù)是科學家們協(xié)作的基礎。網(wǎng)格環(huán)境下的數(shù)據(jù)庫管理系統(tǒng)要想成功地服務于科學研究，就必須充分考慮科學研究活動中數(shù)據(jù)管理的特殊需求。以下是一些例子：

●歸檔 科學研究中的研究結論是在特定時間、特定狀態(tài)的科學數(shù)據(jù)庫的基礎上得到的。如果要驗證一個科學結論，就需要將科學數(shù)據(jù)庫的狀態(tài)恢復到得出結論時的特定狀態(tài)。因此，需要研究支持快速恢復所有先前狀態(tài)的歸檔方法。

●注解 注解關聯(lián)新的數(shù)據(jù)和已有的數(shù)據(jù)，它可以自動產(chǎn)生，例如自動記錄數(shù)據(jù)的派生關系，也可以由科研人員手工添加以記載他們對數(shù)據(jù)的理解。無論以哪種方式生成注解，帶來的問題都是注解需要以合適的方式進行管理以便共享。

●新的存儲結構和索引 科學研究中要處理海量的科學數(shù)據(jù)，而且在檢索數(shù)據(jù)時多使用近似匹配，需要研究能夠充分利用網(wǎng)格優(yōu)點的新的科學數(shù)據(jù)存儲和索引方法。一個簡單的例子是，在計算能力大的網(wǎng)格結點上構造索引，然后將這些索引分發(fā)到計算能力較小的網(wǎng)格結點上以便做并行分布式數(shù)據(jù)查詢。

四個重點研究趨勢

分析國內(nèi)外所做的與網(wǎng)格環(huán)境下數(shù)據(jù)庫系統(tǒng)有關的研究，有以下幾個研究趨勢值得引起關注：

● 將制定數(shù)據(jù)庫存取與集成的標準。網(wǎng)格非常強調(diào)遵循標準。做與網(wǎng)格相關的研究，也應該樹立標準先行的觀念。雖然網(wǎng)格數(shù)據(jù)庫集成所涉及的問題并未完全解決，但是目前已經(jīng)有了網(wǎng)格數(shù)據(jù)庫存取與集成的標準草案，而且根據(jù)這個草案實現(xiàn)了實際可用的軟件系統(tǒng)。雖然不排除標準草案不能最終成為標準的可能性，但是很多相關的研究已經(jīng)以這個標準草案為基礎展開了。

● 將更多地研究網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)。目前實現(xiàn)網(wǎng)格數(shù)據(jù)庫存取和集成采用的是中間件的方法，這是一種簡捷的方法，預計未來數(shù)據(jù)庫管理系統(tǒng)將會更直接地支持網(wǎng)格。我們認為，將來的網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)有三個特點：高性能、全共享和零管理。高性能是基于網(wǎng)格強大的并行計算能力。全共享是指不僅要共享網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)管理的數(shù)據(jù)資源，還要共享網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)本身，即網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)本身也成為具有良好互操作性的網(wǎng)格資源。零管理也就是自主計算，網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)將充分適應網(wǎng)格動態(tài)和自治的特點，無需人工干預安全可靠地運行。

●繼續(xù)發(fā)掘網(wǎng)格應用的新需求。網(wǎng)格上的科學研究有很多的數(shù)據(jù)管理問題需要解決，其中有的問題不是簡單地將數(shù)據(jù)裝入數(shù)據(jù)庫就能解決，它們是新的問題，能夠推動數(shù)據(jù)庫技術的發(fā)展。另外，將原來非網(wǎng)格的應用移植到網(wǎng)格環(huán)境下時，也會出現(xiàn)一些新的問題，對于這些問題也應該去分析和研究。

●在網(wǎng)格環(huán)境下開展數(shù)據(jù)庫新技術的研究。有一些數(shù)據(jù)庫新技術的研究，如果放到網(wǎng)格環(huán)境下來做，會激發(fā)新的問題解決思路。中國人民大學數(shù)據(jù)庫與知識工程研究所展開了網(wǎng)格環(huán)境下數(shù)據(jù)庫信息檢索新技術的研究，目前已經(jīng)取得了部分研究成果。他們的這種研究工作具有很強的創(chuàng)新性。(techtarget)