本 ppt 來自于2018年7月29日 Flink China社區(qū)線下 Meetup·上海站(8月11日將在北京進(jìn)行)。

本文分享來自于易偉平 他目前在餓了么主要負(fù)責(zé)大數(shù)據(jù)平臺的架構(gòu)和維護(hù)，對大數(shù)據(jù)實(shí)時(shí)計(jì)算引擎Storm、Spark、Flink有一定的了解，對離線SQL on Hadoop引擎有一定的研究。

本文主要內(nèi)容如下：

介紹了餓了么的平臺架構(gòu)實(shí)現(xiàn)，數(shù)據(jù)源有應(yīng)用的日志、DRC、Flume/Hangout等，以Kafka作為消息中間件，計(jì)算平臺Storm、Spark和Flink都有用，Storm占據(jù)2/3，Spark占據(jù)1/3，F(xiàn)link目前用的比較少，存儲backend涉及到redis、mysql、kafka等

目前的數(shù)據(jù)現(xiàn)狀是每天60TB的量，集群規(guī)模為400個(gè)節(jié)點(diǎn)

介紹了三個(gè)計(jì)算平臺各自的優(yōu)缺點(diǎn)，以及內(nèi)部應(yīng)用場景;單獨(dú)介紹了一致性語義問題，認(rèn)為目前exactly-once=at-least-once+冪等操作(emmm，我發(fā)現(xiàn)分享了很多基礎(chǔ)知識)

因?yàn)轲I了么現(xiàn)在是阿里系了嘛，所以，未來Flink的參與度要提高

 

 

來源： Hadoop技術(shù)博文

標(biāo)簽： Mysql 大數(shù)據(jù) 大數(shù)據(jù)平臺

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。