管理海量的大數(shù)據(jù)所面臨的挑戰(zhàn)涉及到存儲(chǔ)大型文件、創(chuàng)建一個(gè)長期的存檔，當(dāng)然還需要讓這些數(shù)據(jù)能夠被訪問。

Winter咨詢服務(wù)公司分析師Richard Winter稱，盡管數(shù)據(jù)管理是公司IT部門的一個(gè)關(guān)鍵職能，但是目前讓人抓狂的情況已經(jīng)將市場行為推到了一個(gè)新的水平。Winter咨詢服務(wù)公司一直致力于研究大數(shù)據(jù)發(fā)展趨勢。

知名公司和新成立的公司都會(huì)定期推出一些新產(chǎn)品。他稱，無論是Hadoop、MapReduce、NoSQL，還是數(shù)據(jù)倉庫工具、文件系統(tǒng)、新架構(gòu)，數(shù)據(jù)分析領(lǐng)域正在蓬勃發(fā)展。

Winter稱：“我們已經(jīng)讓產(chǎn)品的重點(diǎn)轉(zhuǎn)向了移動(dòng)、復(fù)制和聯(lián)機(jī)分析數(shù)據(jù)。隨著廠商致力于解決來自社交網(wǎng)絡(luò)、傳感器、醫(yī)療設(shè)備及其它數(shù)據(jù)源的海量數(shù)據(jù)，可擴(kuò)展架構(gòu)開始被普及。”

一些廠商非常清楚在管理真正的大數(shù)據(jù)中所面臨的與生俱來的挑戰(zhàn)。在Amazon.com、尼爾森、馬自達(dá)和美國國會(huì)圖書館，這一任務(wù)需要采取一些創(chuàng)新方式以處理數(shù)十億個(gè)對(duì)象和千兆級(jí)存儲(chǔ)媒體，以快速檢索標(biāo)記數(shù)據(jù)和發(fā)現(xiàn)錯(cuò)誤。

美國國會(huì)圖書館每年需要處理2.5拍字節(jié)數(shù)據(jù)，相當(dāng)于每周要處理40TB數(shù)據(jù)。國會(huì)圖書館企業(yè)系統(tǒng)工程組長Thomas Youkel評(píng)估認(rèn)為，隨著圖書館繼續(xù)執(zhí)行雙重指令以為歷史學(xué)家提供數(shù)據(jù)服務(wù)和保護(hù)所有形式的信息，數(shù)據(jù)負(fù)載在今后幾年翻兩番。

國會(huì)圖書館在兩個(gè)數(shù)據(jù)中心的600臺(tái)服務(wù)器上配置了15,000至18,000個(gè)硬盤以存儲(chǔ)信息。大約90%，超過3PB的數(shù)據(jù)被存儲(chǔ)在光纖連接的SAN，剩下的被存儲(chǔ)在網(wǎng)絡(luò)連接的存儲(chǔ)設(shè)備上。

咨詢公司StorageIO的分析師 Greg Schulz稱：“國會(huì)圖書館有一個(gè)很有意思的模式，被存儲(chǔ)的信息有一部分是元數(shù)據(jù)，另一部分是真正的內(nèi)容�！� Schulz稱，盡管有大量的機(jī)構(gòu)在使用元數(shù)據(jù)，但是讓國會(huì)圖書館與眾不同的是他們的數(shù)據(jù)存儲(chǔ)的規(guī)模，以及為他們收集的所有東西都貼上標(biāo)簽，包括古老的錄音、視頻、照片和在其它類型媒體上的文件。

Schulz解釋稱，對(duì)于那些很少被訪問的真實(shí)內(nèi)容最理想方式是離線保存在磁帶上，同時(shí)一些小樣或是低分辨率的拷貝保存在硬盤上。元數(shù)據(jù)可保存在一些不同的存儲(chǔ)庫中以進(jìn)行搜索。

為了最大程度的保護(hù)數(shù)據(jù)，國會(huì)圖書館使用了兩套獨(dú)立的系統(tǒng)。一套系統(tǒng)是大型的磁帶庫，擁有6000部磁帶驅(qū)動(dòng)器插槽，其使用的是IBM的通用并行文件系統(tǒng)(GPFS)。該文件系統(tǒng)使用的理念與Flickr.com的元標(biāo)記照片相似，即通過算法對(duì)文件進(jìn)行編碼，以讓這些數(shù)據(jù)能夠被更容易處理和被更快的檢索。

第二套系統(tǒng)擁有9500部磁帶驅(qū)動(dòng)器插槽，由甲骨文/ Sun磁帶庫組成，其在甲骨文SL8550磁帶庫中使用了Sun快速文件系統(tǒng)(QFS)。

目前，國會(huì)圖書館每個(gè)數(shù)據(jù)庫擁有大約5億個(gè)對(duì)象，不過Youkel預(yù)測這一數(shù)據(jù)將會(huì)增長到50億。為了對(duì)這增長做好準(zhǔn)備，Youkel的團(tuán)隊(duì)已經(jīng)開始重新考慮命名空間系統(tǒng)。他稱：“我們正在能夠處理這么多對(duì)象的新文件系統(tǒng)。”

Gartner公司存儲(chǔ)分析師Gene Ruth稱，正確的升級(jí)和擴(kuò)展非常重要。當(dāng)數(shù)據(jù)存儲(chǔ)增長超過10PB，備份和處理這些文件的時(shí)間和成本將迅速攀升。一個(gè)方案是：在一個(gè)主要的場所設(shè)置一個(gè)基礎(chǔ)設(shè)施用于處理主要數(shù)據(jù)的獲取，然后再設(shè)置一個(gè)輔助性的長期文件存儲(chǔ)設(shè)施。

勇于嘗試云計(jì)算服務(wù)的電子商務(wù)巨頭Amazon.com正在快速成為全球最大的數(shù)據(jù)存儲(chǔ)商，為了滿足自身的存儲(chǔ)需求和客戶的存儲(chǔ)需求，亞馬遜在其云計(jì)算上存儲(chǔ)了4500億個(gè)對(duì)象。亞馬遜Web服務(wù)的存儲(chǔ)服務(wù)副總裁Alyssa Henry解釋稱，這個(gè)數(shù)量相當(dāng)于全美每人分配到1500個(gè)對(duì)象，等于銀河系每個(gè)星星都可以分配到一個(gè)對(duì)象。

數(shù)據(jù)庫中的一些對(duì)象相當(dāng)?shù)拇蟆�—大到每個(gè)5TB，大到他們自己都可能成為一個(gè)數(shù)據(jù)庫。Henry稱，她預(yù)測到2016年，單個(gè)對(duì)象的大小將增長至500TB。

她稱，應(yīng)對(duì)這些大型數(shù)據(jù)的秘密是將這些對(duì)象分解成數(shù)據(jù)塊，這一過程被稱為平行化。

對(duì)于亞馬遜S3公有云存儲(chǔ)服務(wù)，亞馬遜使用了他們自己的自定義碼將文件分解為每片1000MB的數(shù)據(jù)塊。這是一個(gè)通常的做法，但是亞馬遜的方法與眾不同的地方在于實(shí)時(shí)對(duì)這些文件進(jìn)行分解。

Henry解釋稱：“這一永遠(yuǎn)可用的架構(gòu)與一些存儲(chǔ)系統(tǒng)形成了鮮明的對(duì)比，后者將數(shù)據(jù)在存檔和使用狀態(tài)間移動(dòng)，這為對(duì)數(shù)據(jù)檢索帶來潛在的延遲�！�

損壞的文件是存儲(chǔ)經(jīng)理在處理海量數(shù)據(jù)時(shí)不得不面對(duì)的挑戰(zhàn)。許多公司并不擔(dān)心偶然損壞的文件，但是當(dāng)你有4490億個(gè)對(duì)象，即使很低的失敗率也會(huì)帶來一個(gè)存儲(chǔ)挑戰(zhàn)。

亞馬遜使用定制的軟件對(duì)損壞的內(nèi)存分配中的每個(gè)數(shù)據(jù)進(jìn)行分析，計(jì)算出總和檢查，分析如何快速修復(fù)損壞以傳輸云存儲(chǔ)所需要的吞吐量。

Henry稱，由于客戶將越來越多的數(shù)據(jù)存儲(chǔ)在S3系統(tǒng)上，因此亞馬遜數(shù)據(jù)存儲(chǔ)需求增長顯著。比如，一些用戶存儲(chǔ)用于基因排序的海量數(shù)據(jù)集，一名美國客戶使用他們的服務(wù)存儲(chǔ)奶牛身上的傳感器數(shù)據(jù)以追蹤這些奶牛的活動(dòng)和健康情況。Henry并沒有預(yù)測這一數(shù)據(jù)收集可能會(huì)達(dá)到多大。Henry稱，面對(duì)這些需求，亞馬遜準(zhǔn)備迅速增加節(jié)點(diǎn)以進(jìn)行擴(kuò)展。

在不久的將來，云計(jì)算一定會(huì)徹底走入我們的生活，有興趣入行未來前沿產(chǎn)業(yè)的朋友，可以收藏云計(jì)算，及時(shí)獲取人工智能、大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)的前沿資訊和基礎(chǔ)知識(shí)，讓我們一起攜手，引領(lǐng)人工智能的未來！

標(biāo)簽： 大數(shù)據(jù) 大數(shù)據(jù)發(fā)展 電子商務(wù) 服務(wù)器 公有云 媒體 數(shù)據(jù)分析 數(shù)據(jù)庫 搜索 網(wǎng)絡(luò) 云計(jì)算 云計(jì)算服務(wù)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。