重復(fù)數(shù)據(jù)刪除馳騁主存儲

申請免費(fèi)試用、咨詢電話：400-8352-114

主存儲的重復(fù)數(shù)據(jù)刪除

在虛擬磁帶庫、備份、歸檔等二級存儲系統(tǒng)應(yīng)用中，重復(fù)數(shù)據(jù)刪除、壓縮等數(shù)據(jù)縮減或容量優(yōu)化方法很常見，也很好用。二級存儲系統(tǒng)因采用這些方法而獲得了降低成本（或至少推遲采購）和節(jié)能的好處。不過，現(xiàn)在主存儲系統(tǒng)也可以獲得同樣的好處了，表現(xiàn)最顯著的是NAS服務(wù)器。

不過在開始評估各種選擇之前，就數(shù)據(jù)縮減而言，很重要的一點(diǎn)是，要注意主存儲系統(tǒng)和二級存儲系統(tǒng)需求間的差別，其主要差別是性能要求不同。

曾在市場研究與咨詢公司Janeja Group任高級分析師兼顧問的Eric Burgener表示:“主存儲系統(tǒng)優(yōu)化（PSO）和二級存儲系統(tǒng)優(yōu)化（SSO）的關(guān)鍵差別在于，對訪問時(shí)延的要求不同。主存儲系統(tǒng)的訪問時(shí)延要求一般比二級存儲系統(tǒng)嚴(yán)格得多?！?/P>

存儲優(yōu)化處理確實(shí)引起了時(shí)延，不過不同的解決方案已經(jīng)最大限度地減少或消除了對性能的影響。

Burgener說:“與二級存儲系統(tǒng)相比，主存儲系統(tǒng)中的數(shù)據(jù)冗余低得多，因此一般情況下人們會發(fā)現(xiàn)，主存儲系統(tǒng)的壓縮比也低得多，而注意到這一點(diǎn)很重要?！?/P>

不過，他說，對于主存儲系統(tǒng)數(shù)據(jù)壓縮和重復(fù)數(shù)據(jù)刪除引起的性能問題，一些廠商正在想辦法解決。他認(rèn)為，用戶應(yīng)該理解，8∶1和20∶1的數(shù)據(jù)縮減比之間沒有很大的不同。

在二級存儲系統(tǒng)上進(jìn)行數(shù)據(jù)縮減，可能獲得20:1或更高的容量優(yōu)化率，而在主存儲系統(tǒng)上進(jìn)行數(shù)據(jù)縮減，一般只能獲得一位數(shù)的容量優(yōu)化率（盡管根據(jù)廠商解決方案和數(shù)據(jù)類型的不同而不同，這個比率變化很大）。不過，因?yàn)樗枞萘康臏p少發(fā)生在昂貴的主存儲系統(tǒng)上，所以，即使3:1的數(shù)據(jù)縮減比也可能帶來極大的成本節(jié)省，例如，僅為2∶1或3∶1的比率就可能分別將所需容量降低50%或66%。

對二級存儲系統(tǒng)進(jìn)行數(shù)據(jù)縮減有各種不同的方法，這些方法之間存在差別，如果比較一下廠商們對主存儲系統(tǒng)采用的數(shù)據(jù)縮減方法就會發(fā)現(xiàn)，其差別情況與二級存儲系統(tǒng)類似。例如，有些廠商使用在線（in-line）數(shù)據(jù)縮減的方法（在數(shù)據(jù)寫入磁盤之前進(jìn)行容量優(yōu)化，有時(shí)是實(shí)時(shí)的），而其他一些廠商則使用后處理（post-processing）方法（即數(shù)據(jù)存儲到磁盤上以后，再進(jìn)行數(shù)據(jù)縮減）。

Burgener表示，一般來說，in-line方法需要較少的原始數(shù)據(jù)存儲容量，但是處理速度可能是個問題，因?yàn)閼?yīng)用性能可能受到負(fù)面影響。后處理方法一般不會引起可能影響應(yīng)用性能的附加時(shí)延，但是，這種方法確實(shí)需要更多的存儲容量，究竟要多多少，取決于需要多長時(shí)間才能將數(shù)據(jù)處理成容量優(yōu)化形式。

IDC公司存儲軟件研究經(jīng)理Noemi Greyzdorf表示: “in-line與后處理容量優(yōu)化方法的優(yōu)點(diǎn)和缺點(diǎn)取決于你采用的方法，以及所采用的方法對讀/寫性能和附加容量需求的影響?！?/P>

另外，有些廠商采用“通用（generic）”算法（對所有類型的數(shù)據(jù)都采用相同的算法），而Ocarina Networks公司則針對特定類型的文件，如: jpeg、tiff等，采用“內(nèi)容識別”算法。

影響數(shù)據(jù)縮減的關(guān)鍵因素

數(shù)據(jù)縮減這種技術(shù)首次出現(xiàn)時(shí)，最終用戶并不愿意采用，因?yàn)樗麄儞?dān)心性能降低（吞吐量和/或時(shí)延）、數(shù)據(jù)可用性和可靠性問題。在主存儲系統(tǒng)應(yīng)用環(huán)境中，這些擔(dān)憂更加重了，因?yàn)樾阅堋⒖捎眯院涂煽啃栽谥鞔鎯ο到y(tǒng)中要關(guān)鍵得多。

不過，廠商們的技術(shù)研發(fā)已經(jīng)大大減輕了這些擔(dān)憂。盡管數(shù)據(jù)縮減這種技術(shù)可能引起時(shí)延，但是一般情況下，已經(jīng)最大限度地降低了時(shí)延（在讀數(shù)據(jù)時(shí)降至幾毫秒），對很多應(yīng)用來說，時(shí)延也許不是個問題了，而且所有廠商都已經(jīng)提高了吞吐速度。

通過先進(jìn)的數(shù)據(jù)指紋和混編算法、字節(jié)級驗(yàn)證、校驗(yàn)和以及其他方法，大多數(shù)廠商可保證數(shù)據(jù)可靠性（即檢索出的容量優(yōu)化數(shù)據(jù)與原來的數(shù)據(jù)完全相同）。數(shù)據(jù)可用性問題也已經(jīng)解決，在有些情況下，是通過采用數(shù)據(jù)縮減專用設(shè)備解決的，這些設(shè)備均以鏡像配對形式配置。

IDC公司的Greyzdorf說: “對于主存儲系統(tǒng)數(shù)據(jù)縮減而言，很多用戶仍在設(shè)法了解不同的方法，因?yàn)樗麄儽仨毚_保不丟失數(shù)據(jù)?！?/P>

有些最終用戶正在計(jì)劃評估主存儲系統(tǒng)數(shù)據(jù)縮減方法，對他們來說，倒是有一個好消息—數(shù)據(jù)縮減技術(shù)領(lǐng)域的廠商數(shù)量相對較少，而且這些廠商大多數(shù)都提供工具軟件，以供用戶了解對于特定的數(shù)據(jù)集來說，能夠?qū)崿F(xiàn)多高的容量優(yōu)化率（盡管在這個問題上，分析師們?nèi)匀唤ㄗh要了解一下廠商提供的參考客戶的情況）。

對于主存儲系統(tǒng)數(shù)據(jù)縮減來說，盡管在各種不同的方法之間有可能進(jìn)行一些“蘋果對蘋果”的比較，但是大部分比較是 “蘋果對橘子”的性質(zhì)，因?yàn)榻鉀Q方案差異很大。不過，目標(biāo)是相同的: 降低/優(yōu)化所需容量，這反過來又可極大地節(jié)省成本以及降低空間、功耗和冷卻要求。

主要廠商及特點(diǎn)

以下簡要介紹一下在主存儲系統(tǒng)數(shù)據(jù)縮減領(lǐng)域有哪些主要廠商，以及在分析師的眼中，這些廠商主要的與眾不同之處。

NetApp

NetApp也許是重復(fù)數(shù)據(jù)刪除領(lǐng)域最熱衷的支持者，該公司交付了大量具有重復(fù)數(shù)據(jù)刪除功能（用后處理方法實(shí)現(xiàn)）的系統(tǒng)，堪稱數(shù)據(jù)縮減市場上的領(lǐng)導(dǎo)者。該公司稱，已經(jīng)交付了3.7萬多個具有重復(fù)數(shù)據(jù)刪除功能的系統(tǒng)。當(dāng)然，問題是，實(shí)際上有多少客戶在使用NetApp的重復(fù)數(shù)據(jù)刪除功能。

NetApp公司存儲效率高級市場經(jīng)理Larry Freeman的答案是，客戶至少正在使用1.5萬個系統(tǒng)的重復(fù)數(shù)據(jù)刪除功能，NetApp可以通過自動支持功能跟蹤使用情況。據(jù)Freeman估計(jì)，在這些系統(tǒng)中，“大約有60%正在對至少一個主存儲系統(tǒng)應(yīng)用進(jìn)行重復(fù)數(shù)據(jù)刪除?！?/P>

NetApp在其Data ONTAP操作系統(tǒng)中免費(fèi)集成了重復(fù)數(shù)據(jù)刪除技術(shù)，因此，該公司所有平臺，例如FAS、V-Series、VTL等，都可提供重復(fù)數(shù)據(jù)刪除功能。另外，通過V-Series虛擬化網(wǎng)關(guān)，NetApp還可以在競爭對手的磁盤陣列上進(jìn)行重復(fù)數(shù)據(jù)刪除，其中包括EMC、惠普、日立數(shù)據(jù)系統(tǒng)和IBM的陣列。NetApp還保證，在虛擬服務(wù)器環(huán)境中，第三方磁盤所需容量可減少35%。

與這一領(lǐng)域的其他廠商類似，NetApp專注于虛擬服務(wù)器環(huán)境，在這類環(huán)境中，重復(fù)數(shù)據(jù)刪除比率可以相對高一些。Freeman說，實(shí)際上在VMware環(huán)境中，典型情況下大約可以節(jié)省70%的容量。

EMC

今年早些時(shí)候，EMC宣布，其Celerra NS系列NAS平臺支持重復(fù)數(shù)據(jù)刪除和數(shù)據(jù)壓縮（該系列平臺也支持光纖通道和iSCSI）。EMC的重復(fù)數(shù)據(jù)刪除技術(shù)名為EMC Data Deduplication，集成在Celerra Manager軟件中，并基于EMC的Avamar（用于重復(fù)數(shù)據(jù)刪除）和RecoverPoint（用于壓縮）技術(shù)。EMC的數(shù)據(jù)縮減功能免費(fèi)提供。

EMC稱，其重復(fù)數(shù)據(jù)刪除技術(shù)可以將所需文件系統(tǒng)容量降低多達(dá)50%。德國的Karlsruhe Institute of Technology是其早期采用者，其主存儲系統(tǒng)數(shù)據(jù)量降低了25%。

對于虛擬服務(wù)器環(huán)境來說，EMC的重復(fù)數(shù)據(jù)刪除技術(shù)可與該公司的VMware View一起使用， VMware View是一個vCenter插件。

最近，EMC又宣布，與Ocarina Networks就產(chǎn)品與技術(shù)整合建立合作關(guān)系。

Ocarina

除了EMC，Ocarina還與BlueArc、惠普、Isilon、日立數(shù)據(jù)系統(tǒng)、Nirvanix等廠商有合作關(guān)系。

按照Ocarina公司首席執(zhí)行官M(fèi)urli Thirumale的說法，Ocarina的關(guān)鍵不同之處在于，其ECOsystem數(shù)據(jù)縮減平臺通過專門的算法，提供內(nèi)容識別（特定類型文件）優(yōu)化。ECOsystem采用后處理（或離線，或out-of-band）方法，兼具對象級數(shù)據(jù)的重復(fù)數(shù)據(jù)刪除和壓縮功能?！癊CO”指的是該系統(tǒng)進(jìn)行容量優(yōu)化的“抽取-關(guān)聯(lián)-優(yōu)化”方法，用這種方法時(shí)，數(shù)據(jù)首先抽取出來，變換成原來的格式（而且如果是壓縮數(shù)據(jù)，還要解壓縮），然后再用與特定子文件或?qū)ο笃ヅ涞乃惴ㄟM(jìn)行關(guān)聯(lián)（混編）和優(yōu)化。在某些環(huán)境中，這種方法可實(shí)現(xiàn)更高級的容量優(yōu)化，而且由于這種方法是在后處理采用的，所以不會降低主存儲系統(tǒng)應(yīng)用的性能。

ECOsystem中包括一個執(zhí)行容量優(yōu)化的Optimizer和一個按需擴(kuò)充文件的ECOreader。

Ocarina很早就在圖像應(yīng)用環(huán)境中取得了成功（盡管該公司的技術(shù)不僅限于圖像領(lǐng)域），例如，柯達(dá)公司用Ocarina的ECOsystem管理超過20PB的照片數(shù)據(jù)。

Storwize

Storwize是主存儲系統(tǒng)數(shù)據(jù)縮減技術(shù)市場的先驅(qū)，該公司的技術(shù)也可以用于二級存儲系統(tǒng)。Storwize的關(guān)鍵不同點(diǎn)是，其in-line方法基于增強(qiáng)的實(shí)時(shí)壓縮（而沒有重復(fù)數(shù)據(jù)刪除，盡管Storwize的技術(shù)可以與重復(fù)數(shù)據(jù)刪除一起使用）。

Storwize公司全球市場高級副總裁Peter Smails表示:“我們是惟一一家對優(yōu)化（壓縮）數(shù)據(jù)提供實(shí)時(shí)和直接隨機(jī)存取的公司?！?/P>

與后處理數(shù)據(jù)縮減方法不同，Storwize的STN設(shè)備在數(shù)據(jù)第一次建立時(shí)、即在起始點(diǎn)進(jìn)行優(yōu)化，在數(shù)據(jù)寫入磁盤時(shí)對數(shù)據(jù)進(jìn)行壓縮。因此，該平臺不像后處理方法那樣，不需要任何附加磁盤容量。

為了提高設(shè)備吞吐量，Storwize最近推出了STN-6000i系列，該系列產(chǎn)品提供高達(dá)800MBps的吞吐量，而以前的產(chǎn)品吞吐量為600MBps。

Hifn

今年4月被Exar收購的Hifn公司采用另一種數(shù)據(jù)縮減方法。該公司向OEM提供兼有重復(fù)數(shù)據(jù)刪除、增強(qiáng)壓縮和加密功能的板卡和軟件。最新的板卡是BitWackr 250和255，這些板卡可以插入任何Windows服務(wù)器，價(jià)格預(yù)計(jì)為950美元左右。

與存儲網(wǎng)絡(luò)上基于專用設(shè)備的方法不同，與本質(zhì)上位于主存儲系統(tǒng)之后的目標(biāo)端方法也不同，Hifn的板卡插入服務(wù)器，并優(yōu)化寫入本機(jī)磁盤的數(shù)據(jù)。重復(fù)數(shù)據(jù)刪除發(fā)生在NTFS文件分配單元中。

Exar公司存儲系統(tǒng)產(chǎn)品副總裁John Matze解釋說:“NTFS先進(jìn)行重復(fù)數(shù)據(jù)刪除，然后我們的板卡和軟件再做進(jìn)一步的重復(fù)數(shù)據(jù)刪除和壓縮?！?/P>

另一個不同之處是，Hifn利用基于ASIC的硬件加速。

盡管相對來說Hifn不那么知名，但是該公司卻不是數(shù)據(jù)縮減領(lǐng)域的新手。配備硬件壓縮的大多數(shù)虛擬磁帶庫（VTL）都采用Hifn的板卡，如FalconStor、IBM、Overland Storage、Sepaton以及其他一些廠商的虛擬磁帶庫。

greenBytes

greenBytes是數(shù)據(jù)縮減市場的新手，該公司原來預(yù)期今年6月開始交付產(chǎn)品。

greenBytes的不同之處是，它捆綁了多種技術(shù)，包括壓縮、子文件級重復(fù)數(shù)據(jù)刪除、海量空閑磁盤陣列（MAID）、固態(tài)盤（SSD）驅(qū)動器、除了CIFS和NFS還支持iSCSI以及n-to-n復(fù)制。另外，greenBytes的軟件基于開源代碼，尤其是OpenSolaris和一個修改版的ZFS文件系統(tǒng)，以提高可擴(kuò)展性（按照首席技術(shù)官Bob Petrocelli的說法，高達(dá)數(shù)百TB都不會影響性能）。

greenBytes的專用設(shè)備采用源端數(shù)據(jù)縮減方法，其寫速度高達(dá)800MBps。

greenBytes的方法采用了一種關(guān)鍵技術(shù)，該公司將其稱為“基于概率的恒定時(shí)間搜索”。在這種方法中，系統(tǒng)可以確定以前在“恒定”時(shí)間內(nèi)是否遇到了一個特定的數(shù)據(jù)塊，而不管系統(tǒng)獲得的文件有多大。該技術(shù)在固態(tài)盤上實(shí)現(xiàn)。Petrocelli說，這種技術(shù)的好處是高速重復(fù)數(shù)據(jù)刪除，而且存儲的數(shù)據(jù)增多時(shí)，速度不會受到影響。另外，greenBytes的方法先壓縮數(shù)據(jù)，然后再進(jìn)行重復(fù)數(shù)據(jù)刪除，據(jù)稱可以支持高達(dá)2PB的名字空間。

對于正在考慮主存儲系統(tǒng)數(shù)據(jù)縮減的用戶，IDC公司的Greyzdorf提出了以下建議:“首先要了解自己的數(shù)據(jù)是什么類型的，了解這些數(shù)據(jù)的存取方式，有多少正在使用的數(shù)據(jù)和靜態(tài)數(shù)據(jù)，要對這些數(shù)據(jù)做什么，包括備份、復(fù)制、快照等，這樣才能更好地了解什么類型的容量優(yōu)化技術(shù)最適合自己的特定環(huán)境?！?/P>