本 ppt 來自于2018年7月29日 Flink China社區(qū)線下 Meetup·上海站(8月11日將在北京進行)。

本文分享來自于易偉平 他目前在餓了么主要負責大數(shù)據(jù)平臺的架構(gòu)和維護，對大數(shù)據(jù)實時計算引擎Storm、Spark、Flink有一定的了解，對離線SQL on Hadoop引擎有一定的研究。

本文主要內(nèi)容如下：

介紹了餓了么的平臺架構(gòu)實現(xiàn)，數(shù)據(jù)源有應用的日志、DRC、Flume/Hangout等，以Kafka作為消息中間件，計算平臺Storm、Spark和Flink都有用，Storm占據(jù)2/3，Spark占據(jù)1/3，F(xiàn)link目前用的比較少，存儲backend涉及到redis、mysql、kafka等

目前的數(shù)據(jù)現(xiàn)狀是每天60TB的量，集群規(guī)模為400個節(jié)點

介紹了三個計算平臺各自的優(yōu)缺點，以及內(nèi)部應用場景;單獨介紹了一致性語義問題，認為目前exactly-once=at-least-once+冪等操作(emmm，我發(fā)現(xiàn)分享了很多基礎(chǔ)知識)

因為餓了么現(xiàn)在是阿里系了嘛，所以，未來Flink的參與度要提高

 

 

來源： Hadoop技術(shù)博文

標簽： Mysql 大數(shù)據(jù) 大數(shù)據(jù)平臺

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。