Google在2004年創(chuàng)造了MapReduce，MapReduce集群可包括數(shù)以千計(jì)的并行操作的計(jì)算機(jī)。同時(shí)MapReduce允許程序員在如此龐大的集群中快速的轉(zhuǎn)換數(shù)據(jù)并執(zhí)行數(shù)據(jù)。

從MapReduce到Hadoop，這其中經(jīng)歷了一個(gè)有趣的轉(zhuǎn)變。MapReduce最初是幫助搜索引擎公司應(yīng)對(duì)萬(wàn)維網(wǎng)所帶來(lái)的創(chuàng)建索引時(shí)產(chǎn)生的大量數(shù)據(jù)。Google最初也招募了一些硅谷的精英，并雇用了大批的工程師來(lái)完善MapReduce。并快速將技術(shù)應(yīng)用在相關(guān)的行業(yè)之中，如金融、零售等。Goolge曾拿出MapReduce的部分相關(guān)信息與Nutch團(tuán)隊(duì)分享，以開(kāi)發(fā)開(kāi)源版本“Hadoop”。但Yahoo則將Nutch收入到旗下。Yahoo在2007年將其發(fā)展成Hadoop開(kāi)源項(xiàng)目。Hadoop現(xiàn)在越來(lái)越多的用于大數(shù)據(jù)的大規(guī)模并行數(shù)據(jù)處理引擎。

現(xiàn)今大家都熱衷于大數(shù)據(jù)領(lǐng)域。開(kāi)源的項(xiàng)目如Apache Hive、Pig。以及像MapR和Hadapt這樣的創(chuàng)業(yè)公司。眾所周知，如果MapReduce和Hadoop中用來(lái)進(jìn)行數(shù)據(jù)分析的應(yīng)用編寫(xiě)起來(lái)過(guò)于復(fù)雜的話，那么就需要優(yōu)秀程序員處理，這并不利于MapReduce技術(shù)的發(fā)展。所以現(xiàn)今所有Hadoop供應(yīng)商都亟待解決的一個(gè)問(wèn)題就是如何將MapReduce變得更易于使用。

從IT角度來(lái)看，信息結(jié)構(gòu)類(lèi)型大致經(jīng)歷了三次浪潮。必須注意這一點(diǎn)，新的浪潮并沒(méi)取代舊浪潮，它們?nèi)栽诓粩喟l(fā)展，三種數(shù)據(jù)結(jié)構(gòu)類(lèi)型一直存在，只是其中一種結(jié)構(gòu)類(lèi)型往往主導(dǎo)于其他結(jié)構(gòu)：

——這種信息可以在關(guān)系數(shù)據(jù)庫(kù)中找到，多年來(lái)一直主導(dǎo)著IT應(yīng)用。這是關(guān)鍵任務(wù)OLTP系統(tǒng)業(yè)務(wù)所依賴(lài)的信息，另外，還可對(duì)結(jié)構(gòu)數(shù)據(jù)庫(kù)信息進(jìn)行排序和查詢；

——這是IT的第二次浪潮，包括電子郵件，文字處理文件以及大量保存和發(fā)布在網(wǎng)絡(luò)上的信息。半結(jié)構(gòu)化信息是以內(nèi)容為基礎(chǔ)，可以用于搜索，這也是谷歌存在的理由；

——該信息在本質(zhì)形式上可認(rèn)為主要是位映射數(shù)據(jù)。數(shù)據(jù)必須處于一種可感知的形式中（諸如可在音頻、視頻和多媒體文件中被聽(tīng)或被看）。許多大數(shù)據(jù)都是非結(jié)構(gòu)化的，其龐大規(guī)模和復(fù)雜性需要高級(jí)分析工具來(lái)創(chuàng)建或利用一種更易于人們感知和交互的結(jié)構(gòu)。

而面對(duì)網(wǎng)絡(luò)中三種類(lèi)型信息的挑戰(zhàn)，大數(shù)據(jù)的發(fā)展趨勢(shì)逐漸明朗。在今年9月于紐約召開(kāi)的O‘Reilly Strata大會(huì)上就將發(fā)展趨勢(shì)概括為企業(yè)大數(shù)據(jù)和敏捷大數(shù)據(jù)。企業(yè)大數(shù)據(jù)是最具挑戰(zhàn)性的問(wèn)題，也是企業(yè)盈利的需要解決的問(wèn)題。而敏捷大數(shù)據(jù)是另外一個(gè)需要的問(wèn)題。如Greenplum和Aster等在企業(yè)BI領(lǐng)域都有涉足。

如果事實(shí)證明大數(shù)據(jù)必須購(gòu)買(mǎi)企業(yè)級(jí)的產(chǎn)品，那么就意味著大數(shù)據(jù)會(huì)花大本錢(qián)。但這并非絕對(duì)，通過(guò)使用大數(shù)據(jù)敏捷技術(shù)，各種規(guī)模的企業(yè)都可以控制成本，從大數(shù)據(jù)中獲益。至關(guān)重要的是盡可能降低成本并最大化的了解大數(shù)據(jù)集，一旦數(shù)據(jù)被轉(zhuǎn)化為可用便具有對(duì)業(yè)務(wù)的洞察力，然后以各種方式將問(wèn)題匯總，并發(fā)揮企業(yè)技術(shù)的優(yōu)勢(shì)解決問(wèn)題。

MapReduce系統(tǒng)獲得成功的原因之一是它為編寫(xiě)需要大規(guī)模并行處理的代碼提供了簡(jiǎn)單的編程模式。它受到了Lisp的函數(shù)編程特性和其他函數(shù)式語(yǔ)言的啟發(fā)。MapReduce和云計(jì)算非常相配。MapReduce的關(guān)鍵特點(diǎn)是它能夠?qū)﹂_(kāi)發(fā)人員隱藏操作并行語(yǔ)義 — 并行編程的具體工作方式。

但現(xiàn)今，MapReduce很難成為商務(wù)人士討論大數(shù)據(jù)的方式。因?yàn)橐�使用MapReduce至少需要以下四種技能。

在大數(shù)據(jù)時(shí)代下，使用傳統(tǒng)的數(shù)據(jù)庫(kù)進(jìn)行查詢、排序、定義、和提取數(shù)據(jù)時(shí)顯得有些力不從心。而處理大數(shù)據(jù)業(yè)務(wù)的本質(zhì)（如MapReduce）需要更多的技能。但大批雇傭這些高技能人才是不現(xiàn)實(shí)的。

SQL對(duì)于編程專(zhuān)家和業(yè)務(wù)分析師用來(lái)查詢數(shù)據(jù)來(lái)說(shuō)是非常熟悉的模式。而MapReduce的魅力在于有能力處理程序方案中相對(duì)復(fù)雜的搜索查詢。如果將兩者結(jié)合起來(lái)會(huì)帶來(lái)什么樣的變化？

Aster已經(jīng)提供了一種被稱(chēng)為SQL-MapReduce的框架，這個(gè)框架可以使數(shù)據(jù)科學(xué)家和商業(yè)分析師對(duì)復(fù)雜的信息進(jìn)行快速調(diào)查分析，允許一組關(guān)聯(lián)計(jì)算機(jī)(計(jì)算機(jī)群集)使用軟件語(yǔ)言(如 Java、C#、Python、C++ 和 R)并行進(jìn)行程序表達(dá)，然后通過(guò)標(biāo)準(zhǔn)SQL 激活(調(diào)用)使用。

而Greenplum提供支持SQL和MapReduce并行處理功能，并能以較低的成本處理TB量級(jí)到PB量級(jí)企業(yè)數(shù)據(jù)。Greenplum整合了MapReduce和SQL技術(shù)，并且將直接在Greenplum的并行數(shù)據(jù)流引擎（位于Greenplum數(shù)據(jù)引擎的中心）內(nèi)部直接執(zhí)行MapReduce和SQL。Greenplum MapReduce可以使程序員對(duì)儲(chǔ)存在Greenplum數(shù)據(jù)引擎內(nèi)部和外部的PB量級(jí)規(guī)模的數(shù)據(jù)集進(jìn)行分析。帶來(lái)的好處是應(yīng)對(duì)不斷增長(zhǎng)的標(biāo)準(zhǔn)編程模型來(lái)滿足關(guān)系數(shù)據(jù)庫(kù)的可靠性和熟悉性。

同時(shí)像微軟這樣的領(lǐng)導(dǎo)廠商也參與其中。微軟已經(jīng)推出了Hadoop與SQL Server的連接工具，客戶將能夠在Hadoop、SQL Server和并行數(shù)據(jù)倉(cāng)換環(huán)境下相互交換數(shù)據(jù)。與此同時(shí)，微軟還與Hortonworks展開(kāi)深度合作。其目的就是為了將Hortonworks在Hadoop領(lǐng)域的專(zhuān)長(zhǎng)以及微軟產(chǎn)品易用化的特性有機(jī)的結(jié)合起來(lái)，并簡(jiǎn)化下載、安裝和配置等幾個(gè)Hadoop的相關(guān)技術(shù)。

在不久的將來(lái)，云計(jì)算一定會(huì)徹底走入我們的生活，有興趣入行未來(lái)前沿產(chǎn)業(yè)的朋友，可以收藏云計(jì)算，及時(shí)獲取人工智能、大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)的前沿資訊和基礎(chǔ)知識(shí)，讓我們一起攜手，引領(lǐng)人工智能的未來(lái)！

標(biāo)簽： Google isp 處理大數(shù)據(jù) 大數(shù)據(jù) 大數(shù)據(jù)時(shí)代 代碼 電子郵件 谷歌 金融 媒體 數(shù)據(jù)分析 數(shù)據(jù)庫(kù) 搜索 搜索引擎 網(wǎng)絡(luò) 云計(jì)算

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。