相同的 Key 進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)方式是對(duì) Value 求和，(_ + _)。

第 3 行代碼：將這個(gè) RDD 保存到 HDFS。

RDD 是 Spark 的核心概念，是彈性數(shù)據(jù)集(Resilient Distributed Datasets)的縮寫(xiě)。RDD 既是 Spark 面向開(kāi)發(fā)者的編程模型，又是 Spark 自身架構(gòu)的核心元素。

我們先來(lái)看看作為 Spark 編程模型的 RDD。我們知道，大數(shù)據(jù)計(jì)算就是在大規(guī)模的數(shù)據(jù)集上進(jìn)行一系列的數(shù)據(jù)計(jì)算處理。MapReduce 針對(duì)輸入數(shù)據(jù)，將計(jì)算過(guò)程分為兩個(gè)階段，一個(gè) Map 階段，一個(gè) Reduce 階段，可以理解成是面向過(guò)程的大數(shù)據(jù)計(jì)算。我們?cè)谟?MapReduce 編程的時(shí)候，思考的是，如何將計(jì)算邏輯用 Map 和 Reduce 兩個(gè)階段實(shí)現(xiàn)，map 和 reduce 函數(shù)的輸入和輸出是什么，這也是我們?cè)趯W(xué)習(xí) MapReduce 編程的時(shí)候一再?gòu)?qiáng)調(diào)的。

而 Spark 則直接針對(duì)數(shù)據(jù)進(jìn)行編程，將大規(guī)模數(shù)據(jù)集合抽象成一個(gè) RDD 對(duì)象，然后在這個(gè) RDD 上進(jìn)行各種計(jì)算處理，得到一個(gè)新的 RDD，繼續(xù)計(jì)算處理，直到得到最后的結(jié)果數(shù)據(jù)。所以 Spark 可以理解成是面向?qū)ο蟮拇髷?shù)據(jù)計(jì)算。我們?cè)谶M(jìn)行 Spark 編程的時(shí)候，思考的是一個(gè) RDD 對(duì)象需要經(jīng)過(guò)什么樣的操作，轉(zhuǎn)換成另一個(gè) RDD 對(duì)象，思考的重心和落腳點(diǎn)都在 RDD 上。

所以在上面 WordCount 的代碼示例里，第 2 行代碼實(shí)際上進(jìn)行了 3 次 RDD 轉(zhuǎn)換，每次轉(zhuǎn)換都得到一個(gè)新的 RDD，因?yàn)樾碌?RDD 可以繼續(xù)調(diào)用 RDD 的轉(zhuǎn)換函數(shù)，所以連續(xù)寫(xiě)成一行代碼。事實(shí)上，可以分成 3 行。

val rdd1 = textFile.flatMap(line => line.split(" "))
val rdd2 = rdd1.map(word => (word, 1))
val rdd3 = rdd2.reduceByKey(_ + _)

RDD 上定義的函數(shù)分兩種，一種是轉(zhuǎn)換(transformation)函數(shù)，這種函數(shù)的返回值還是 RDD;另一種是執(zhí)行(action)函數(shù)，這種函數(shù)不再返回 RDD。

RDD 定義了很多轉(zhuǎn)換操作函數(shù)，比如有計(jì)算map(func)、過(guò)濾filter(func)、合并數(shù)據(jù)集union(otherDataset)、根據(jù) Key 聚合reduceByKey(func, [numPartitions])、連接數(shù)據(jù)集join(otherDataset, [numPartitions])、分組groupByKey([numPartitions]) 等十幾個(gè)函數(shù)。

我們?cè)賮?lái)看看作為 Spark 架構(gòu)核心元素的 RDD。跟 MapReduce 一樣，Spark 也是對(duì)大數(shù)據(jù)進(jìn)行分片計(jì)算，Spark 分布式計(jì)算的數(shù)據(jù)分片、任務(wù)調(diào)度都是以 RDD 為單位展開(kāi)的，每個(gè) RDD 分片都會(huì)分配到一個(gè)執(zhí)行進(jìn)程去處理。

RDD 上的轉(zhuǎn)換操作又分成兩種，一種轉(zhuǎn)換操作產(chǎn)生的 RDD 不會(huì)出現(xiàn)新的分片，比如 map、filter 等，也就是說(shuō)一個(gè) RDD 數(shù)據(jù)分片，經(jīng)過(guò) map 或者 filter 轉(zhuǎn)換操作后，結(jié)果還在當(dāng)前分片。就像你用 map 函數(shù)對(duì)每個(gè)數(shù)據(jù)加 1，得到的還是這樣一組數(shù)據(jù)，只是值不同。實(shí)際上，Spark 并不是按照代碼寫(xiě)的操作順序去生成 RDD，比如“rdd2 = rdd1.map(func)”這樣的代碼并不會(huì)在物理上生成一個(gè)新的 RDD。物理上，Spark 只有在產(chǎn)生新的 RDD 分片時(shí)候，才會(huì)真的生成一個(gè) RDD，Spark 的這種特性也被稱(chēng)作惰性計(jì)算。

另一種轉(zhuǎn)換操作產(chǎn)生的 RDD 則會(huì)產(chǎn)生新的分片，比如 reduceByKey，來(lái)自不同分片的相同 Key 必須聚合在一起進(jìn)行操作，這樣就會(huì)產(chǎn)生新的 RDD 分片。實(shí)際執(zhí)行過(guò)程中，是否會(huì)產(chǎn)生新的 RDD 分片，并不是根據(jù)轉(zhuǎn)換函數(shù)名就能判斷出來(lái)的，具體我們下一期再討論。

總之，你需要記住，Spark 應(yīng)用程序代碼中的 RDD 和 Spark 執(zhí)行過(guò)程中生成的物理 RDD 不是一一對(duì)應(yīng)的，RDD 在 Spark 里面是一個(gè)非常靈活的概念，同時(shí)又非常重要，需要認(rèn)真理解。

當(dāng)然 Spark 也有自己的生態(tài)體系，以 Spark 為基礎(chǔ)，有支持 SQL 語(yǔ)句的 Spark SQL，有支持流計(jì)算的 Spark Streaming，有支持機(jī)器學(xué)習(xí)的 MLlib，還有支持圖計(jì)算的 GraphX。利用這些產(chǎn)品，Spark 技術(shù)棧支撐起大數(shù)據(jù)分析、大數(shù)據(jù)機(jī)器學(xué)習(xí)等各種大數(shù)據(jù)應(yīng)用場(chǎng)景。

我前面提到，頂尖的產(chǎn)品設(shè)計(jì)大師和問(wèn)題解決專(zhuān)家，不會(huì)去詢(xún)問(wèn)人們想要什么，而是分析和觀察人們的做事方式，從而思考到更好的產(chǎn)品設(shè)計(jì)和問(wèn)題解決方案。

但是這種技巧需要深邃的觀察力和洞察力，如果沒(méi)有深度的思考，做出的東西就會(huì)淪為異想天開(kāi)和自以為是。要知道大眾提出的需求雖然也無(wú)法觸及問(wèn)題的核心，但是好歹是有共識(shí)的，大家都能接受，按這種需求做出的東西雖然平庸，但是不至于令人厭惡。

而缺乏洞見(jiàn)的自以為是則會(huì)違反常識(shí)，讓其他人本能產(chǎn)生排斥感，進(jìn)而產(chǎn)生對(duì)立情緒。這種情緒之下，設(shè)計(jì)沒(méi)有了進(jìn)一步改進(jìn)的基礎(chǔ)，最后往往成為悲劇。這兩年在所謂互聯(lián)網(wǎng)思維的鼓吹下，一些缺乏專(zhuān)業(yè)技能的人，天馬行空創(chuàng)造需求，受到質(zhì)疑后公開(kāi)批評(píng)用戶(hù)，也是讓人倍感驚詫。

我們?cè)谧约旱墓ぷ髦�，作為一個(gè)不是頂尖大師的產(chǎn)品經(jīng)理或工程師，如何做到既不自以為是，又能逐漸擺脫平庸，進(jìn)而慢慢向大師的方向靠近呢?

有個(gè)技巧可以在工作中慢慢練習(xí)：不要直接提出你的問(wèn)題和方案，不要直接說(shuō)“你的需求是什么?”“我這里有個(gè)方案你看一下”。

直向曲中求，對(duì)于復(fù)雜的問(wèn)題，越是直截了當(dāng)越是得不到答案。迂回曲折地提出問(wèn)題，一起思考問(wèn)題背后的規(guī)律，才能逐漸發(fā)現(xiàn)問(wèn)題的本質(zhì)。通過(guò)這種方式，既能達(dá)成共識(shí)，不會(huì)有違常識(shí)，又可能產(chǎn)生洞見(jiàn)，使產(chǎn)品和方案呈現(xiàn)閃光點(diǎn)。

你覺(jué)得前一個(gè)版本最有意思(最有價(jià)值)的功能是什么?

你覺(jué)得我們這個(gè)版本應(yīng)該優(yōu)先關(guān)注哪個(gè)方面?

你覺(jué)得為什么有些用戶(hù)在下單以后沒(méi)有支付?