隨著生活越來越豐富，大數據也變得越來越難以處理；同時因為數據體積增大、數據類型繁多，技術人員在分析過程中不得不克服大量的挑戰(zhàn)和障礙。本文將討論為什么數據會變得越來越復雜及難以管理，以及在我們分析、整合及存儲這些數據時又會面臨哪些挑戰(zhàn)及障礙，當然還有大數據又會給未來帶來什么樣的機遇。

舉個簡單的例子，去參加一個小朋友的生日派對。在出發(fā)時，你會發(fā)送一個tweet說明一下，數據隨之產生。車在半路上，停車加油，付款時果斷產生了數據。在超市購買生日卡片，掃描購物卡、結賬同樣產生了數據。在生日派對中，拍個照片，錄段視頻，當你在Facebook、Flickr以及Youtube上發(fā)布時同樣產生了數據。在派對過程中發(fā)送的消息，同樣產生了數據。貫穿整個過程，你的手機因不停的發(fā)送GPS位置而產生數據，你的車因為不停的追蹤燃耗而產生數據。由此可見，我們在日常行為活動中產生了大量的數據。

通過IBM了解到，我們每天大約建立2.5 quintillion（1 000 0003）字節(jié)的數據，而在過去兩年建立了總數據量的90%，同時數據體積以指數的方式增加。隨著公司數據捕獲能力的增強、多媒體變得流行、社交媒體會話的增加以及使用互聯網做更多的事情，數據的體積也不可思議的速度激增。

大數據是復雜的。之所以復雜因為數據的多樣性，其中包括結構化數據和非結構化數據。大數據的復雜還在于交付和使用的速度，比如“實時”。并且，大數據的復雜還在于數據的體積。以前家用存儲說的是MB和GB，現在講的已經是TB了，而企業(yè)早已跨入PB單元。

大數據增加了信息管理業(yè)務的需求，比如Software AG、Oracle Corporation、IBM、Microsoft、SAP、EMC和HP已經支付150億美元給專門從事數據管理和分析的軟件公司。在2010年，這個產業(yè)自身的價值已經超過1000億美元，并以每年10%的速度增長著——比整個軟件業(yè)務快2倍。

發(fā)達經濟體讓大數據密集型技術得到更廣泛的使用。世界范圍內，有46億的移動終端在產生數據，有10到20億人在訪問互聯網。在1990到2005期間，超過10億人進入了中產階級，更多富起來的人同樣導致了信息的增長。在1986年，世界電信網絡有效的信息交互能力為281 PB，1993年為471 PB，2000年為2.2 EB，2007年為65EB，而在2013年，預計的通信總量為667 EB。

大數據需求在可容忍時間內對大體積數據進行處理特殊的技術，大數據分析實踐者通常不喜歡共享儲存，更傾向于直接連接存儲（Direct Attached Storage，DAS），在并行的內部處理節(jié)點中混合使用了高速SSD與高容量SATA磁盤。而當下的共享儲存架構SAN及NAS已被扣上緩慢、復雜及昂貴的頭銜，該類型架構完全不符合現下大數據技術在性能、商用服務器及低成本上的標準。

實時及近實時的信息交付已成為大數據分析的界定特征，盡可能的避免延時同樣成為大數據技術的首要挑戰(zhàn)之一。數據更希望被存儲在內存中，而不是其他終端FC SAN連接的機械硬盤上。同樣在大數據情景下，SAN模式下對分析應用程序的要求上比其它類型存儲要高得多。

當然，共享存儲在大數據分析情景下也有著自己的優(yōu)勢，但是自2011年以后，已不為絕大多數大數據實踐者所采納。

鑒于復雜性，大數據處理面臨著一系列挑戰(zhàn)：

1. 在類似文本或視頻的非結構化數據上，我們要如何去理解及使用。

2. 我們該如何在數據產生時捕獲最重要的部分，并實時的將它交付給正確的人。

3. 鑒于當下的數據體積和計算能力，該如何儲存、分析及理解這些數據。

4. 缺乏人才

當下討論最多的問題就是缺乏大數據人才，值得慶幸的是許多教育機構都針對此開設了相應的學術課程。而我們也看到一些更好的現象，企業(yè)和高校合作共同對抗這個人才稀缺問題，這也是最有效的人才培養(yǎng)途徑。

5. 其它一些固有的挑戰(zhàn)，隱私、訪問安全以及部署

通過EIU（Economist Intelligence Unit）與Lyris（數字化營銷軟件提供商）最新的報告“Mind the Digital Marketing Gap”了解到，37%的營銷主管發(fā)現大數據解析到決策制定的轉換上存在著非常大的挑戰(zhàn)，而45%認為他們不具備有效的大數據分析能力。

其它一些障礙還包括缺乏資金（43%的受訪者）、過于強調數字工具及社交媒體、渠道的增多以及人力資源的匱乏（33%左右的受訪者）。

盡管當下大數據技術的應用上還存在許多的挑戰(zhàn)，但是其中存在的機遇卻遠超過這些挑戰(zhàn)。大數據成為創(chuàng)新、競爭及生產力提升的絕對利器，我們可以使用大數據回答以前無法解決的問題。我們可以使用大數據獲得真知和知識，確定趨勢及提高生產力，取得競爭優(yōu)勢并為世界經濟創(chuàng)造更多的價值。

原文鏈接：Big Data Business Analytics, Storage, Integration, Challenges and Opportunities（編譯/仲浩 審校/周小璐）

標簽： [db:TAGG]

版權申明：本站文章部分自網絡，如有侵權，請聯系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯系。