中國IDC圈12月13日報道：提到云計算，我們通常能夠與Google、微軟、雅虎這樣的業(yè)界大腕相聯(lián)系，與中小企業(yè)無緣。而實際上，得益于諸如Hadoop這樣的開源軟件，廣大中小企業(yè)也可以搭建自己的私有云，并相當(dāng)程度的滿足自身需求。這篇文章會從實踐出發(fā)，談一談企業(yè)如何在基于英特爾的開放架構(gòu)上架設(shè)Hadoop私有云系統(tǒng)，以及測試實施的效果到底如何。

目前系統(tǒng)面臨的問題

從過去來看，企業(yè)系統(tǒng)當(dāng)中存在相當(dāng)數(shù)量的應(yīng)用，各自承載不同類型的大計算量任務(wù)，比如分詞、產(chǎn)品分析、新詞發(fā)現(xiàn)等等。

而目前的系統(tǒng)由于是基于單機(jī)的實現(xiàn)的，盡管單服務(wù)器性能也足夠強(qiáng)，但對于多任務(wù)的執(zhí)行，效率實在相當(dāng)?shù)拖�，某物流公司僅當(dāng)月的產(chǎn)品分析一項就花了近300個機(jī)時。

如果沿著現(xiàn)在的方式走下去的話，那么開發(fā)成本，維護(hù)成本，硬件投入，以及跨項目組的溝通協(xié)調(diào)成本都會持續(xù)提升；而硬件使用效率跟開發(fā)人員生產(chǎn)率卻會下降。從這點出發(fā)，需要構(gòu)造一個通用的分布式計算框架引擎作為新的基礎(chǔ)計算架構(gòu)，來滿足任務(wù)需求。

系統(tǒng)需求

1、通用性——系統(tǒng)需要實現(xiàn)任務(wù)分發(fā)，負(fù)載平衡，錯誤恢復(fù)等分布式計算的基礎(chǔ)工作，一個計算密集型的任務(wù)可以通過簡易的封裝，部署在系統(tǒng)執(zhí)行，在同一時間內(nèi)，系統(tǒng)可以執(zhí)行不同類型的任務(wù)，由此達(dá)到對服務(wù)器資源的最有效利用，從這一點上來看，系統(tǒng)需要的是一個開放式的基礎(chǔ)架構(gòu)。

2、穩(wěn)定性——系統(tǒng)本身的運(yùn)行穩(wěn)定；

3、可擴(kuò)展性——主要是指Scale Out的能力，需要新的服務(wù)器資源可以簡易的集成進(jìn)集群，投入應(yīng)用；

4、靈活性，除去通過API或者通過擴(kuò)展框架來將任務(wù)部署在系統(tǒng)中外，也要支持利用Python等腳本語言進(jìn)行輕量級的開發(fā)，來應(yīng)對一些ad-hoc的任務(wù)；

5、支持對大規(guī)模數(shù)據(jù)量的處理，以及對最終結(jié)果的集中收集。

英特爾平臺的Hadoop私有云解決方案

從開放行、穩(wěn)定性和擴(kuò)展性等多方面角度考慮，基于Intel至強(qiáng)處理器平臺是新的系統(tǒng)架構(gòu)的選擇，整個系統(tǒng)建立在Intel至強(qiáng)5600架構(gòu)平臺之上，在開源的分布式計算框架Hadoop上定制開發(fā)。Hadoop是一套對Google著名MapReduce模式的實現(xiàn)，用最簡單的話說，MapReduce就是把任務(wù)數(shù)據(jù)拆分成多塊，分別在不同的服務(wù)器上進(jìn)行處理，最后再把中間結(jié)果聚合起來，得到最終結(jié)果。

從應(yīng)用加載來看，所有的服務(wù)器資源根據(jù)應(yīng)用被劃分，運(yùn)行穩(wěn)定可靠，如果中間因為網(wǎng)絡(luò)或者小部分服務(wù)器本身故障，Hadoop的內(nèi)部機(jī)制可以自動將任務(wù)分配到正常機(jī)器上運(yùn)行，以保證所有任務(wù)最終的順利完成。

另外，由于所有的計算任務(wù)會在單獨的線程中進(jìn)行，所以可以充分利用至強(qiáng)5600的多線程和超線程技術(shù)。此外，配合英特爾QPI總線設(shè)計，處理器間的連接帶寬提升至25.6GB/s，CPU與內(nèi)存的數(shù)據(jù)帶寬也達(dá)到了32GB/s，經(jīng)在四核的服務(wù)器上測試，由于應(yīng)用本身沒有對多核進(jìn)行優(yōu)化，因此在主程序執(zhí)行時，即便是單機(jī)性能也提高了近50%.

總結(jié)

基于Hadoop的開放平臺私有云架構(gòu)的戰(zhàn)略意義

1、大幅減少現(xiàn)有計算密集型任務(wù)的時間，大幅提高服務(wù)器利用效率；

2、使未來對計算要求更高的業(yè)務(wù)成為可能，這樣的架構(gòu)允許任意添加新的X86服務(wù)器就能擴(kuò)充計算資源，而不會增加額外的管理和維護(hù)成本。

3. 最后，系統(tǒng)除了支持Java，也支持Python和Bash Shell這樣輕量級的腳本語言，也使得開發(fā)人員能夠利用廉價而高性能的計算平臺進(jìn)行業(yè)務(wù)創(chuàng)新。

在不久的將來，云計算一定會徹底走入我們的生活，有興趣入行未來前沿產(chǎn)業(yè)的朋友，可以收藏云計算，及時獲取人工智能、大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)的前沿資訊和基礎(chǔ)知識，讓我們一起攜手，引領(lǐng)人工智能的未來！

標(biāo)簽： Google idc 大數(shù)據(jù) 服務(wù)器 服務(wù)器性能 腳本 網(wǎng)絡(luò) 云計算

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。