本文出自澳大利亞一位ID為Dodgy Coder的程序員2012年4月的博客文章。他從High Scalability上整理和總結(jié)了Google、YouTube、Twitter、Amazon、Ebay、Facebook和Instagram等7家知名互聯(lián)網(wǎng)的系統(tǒng)擴(kuò)展經(jīng)驗(yàn)。值得注意的是，有些資料時(shí)過(guò)境遷，已經(jīng)不再反映最新情況，但是核心的理念和許多具體經(jīng)驗(yàn)還是非常寶貴的學(xué)習(xí)資料，值得一讀。

不難發(fā)現(xiàn)，這7個(gè)公司都有以下共同的6大理念：

1.保持簡(jiǎn)單——隨著時(shí)間推移，復(fù)雜性會(huì)自然出現(xiàn)。

2.自動(dòng)化一切——包括災(zāi)難恢復(fù)。

3.不斷迭代——想擴(kuò)展到更高水平？必須準(zhǔn)備好忍痛棄用現(xiàn)在能工作的某個(gè)組件。

4.選擇合適的工具——但也不怕自己動(dòng)手打造。

5.使用緩存——在適當(dāng)?shù)牡胤健?/p>

6.根據(jù)場(chǎng)景，在數(shù)據(jù)的一致性和可用性之間做取舍。

下面來(lái)分別看一下7大公司的經(jīng)驗(yàn)吧。

可靠、可擴(kuò)展的存儲(chǔ)基本上是任何應(yīng)用程序的核心。GFS（Google File System）是Google的核心存儲(chǔ)平臺(tái)——它是一個(gè)大型分布式結(jié)構(gòu)化的日志文件系統(tǒng)，Google在其中存放了大量的數(shù)據(jù)。為什么會(huì)自建系統(tǒng)，而不是使用其他已有的產(chǎn)品？因?yàn)镚oogle需要對(duì)系統(tǒng)有絕對(duì)的掌控力，同時(shí)這個(gè)平臺(tái)也正是Google之所以成為Google的地方。GFS使他們獲得了跨數(shù)據(jù)中心的高可靠性、擴(kuò)展到數(shù)以千計(jì)個(gè)節(jié)點(diǎn)的能力、提供巨大的讀寫(xiě)帶寬、支持以GB為單位的大數(shù)據(jù)塊處理和跨節(jié)點(diǎn)分布操作以降低瓶頸的高效技術(shù)。

Google可以更快、更便宜并且在規(guī)模上罕有匹敵地發(fā)布新的互聯(lián)網(wǎng)服務(wù)。許多公司與Google的想法并不相同，他們把基礎(chǔ)設(shè)施看成負(fù)擔(dān)，花錢(qián)的事兒。新舊兩類(lèi)公司使用的技術(shù)完全不同，在系統(tǒng)開(kāi)發(fā)上也少有共識(shí)。

大平臺(tái)方式有一個(gè)經(jīng)常被忽略的優(yōu)勢(shì)，就是初級(jí)開(kāi)發(fā)者也能很快并自信地開(kāi)發(fā)健壯的應(yīng)用程序。如果每個(gè)項(xiàng)目都需要建立分布式基礎(chǔ)設(shè)施，那么你很快將會(huì)陷入困境，因?yàn)槎�得這么去做的開(kāi)發(fā)者非常少。協(xié)同效應(yīng)并不總是空談，從整個(gè)系統(tǒng)上著眼改善，可以幫助到建立在這個(gè)系統(tǒng)上的所有應(yīng)用程序或項(xiàng)目。比如：改善了文件系統(tǒng)就可以讓所有項(xiàng)目都立即而且透明地（指上層開(kāi)發(fā)者和使用者都無(wú)需操心）獲益。如果每個(gè)項(xiàng)目都使用不同的文件系統(tǒng)，那么在整個(gè)技術(shù)棧上的改進(jìn)將不會(huì)帶來(lái)持續(xù)不斷的增益。

自動(dòng)化和恢復(fù)

建立自管理系統(tǒng)，讓工作不需要停機(jī)進(jìn)行。這樣允許你更容易地進(jìn)行以下操作：在多臺(tái)服務(wù)器間重新調(diào)配資源、動(dòng)態(tài)添加容量、將機(jī)器下線(xiàn)以及從容地處理升級(jí)。

并行地執(zhí)行一個(gè)耗時(shí)（CPU綁定的）操作，并取優(yōu)勝者。這尤其適合在CPU富余而IO不足的情況。

學(xué)術(shù)界有很多很棒的思想，只不過(guò)還沒(méi)有進(jìn)入生產(chǎn)環(huán)境。你現(xiàn)在看到Google所做的事情其實(shí)都并不新鮮，只是沒(méi)有大規(guī)模部署而已。

當(dāng)由許多機(jī)器組成的大型集群受限于IO時(shí)，壓縮不失為一良策。

在不久的將來(lái)，云計(jì)算一定會(huì)徹底走入我們的生活，有興趣入行未來(lái)前沿產(chǎn)業(yè)的朋友，可以收藏云計(jì)算，及時(shí)獲取人工智能、大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)的前沿資訊和基礎(chǔ)知識(shí)，讓我們一起攜手，引領(lǐng)人工智能的未來(lái)！

標(biāo)簽： Google 大數(shù)據(jù) 服務(wù)器 互聯(lián)網(wǎng) 互聯(lián)網(wǎng)服務(wù) 開(kāi)發(fā)者 云計(jì)算

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。