分享嘉賓郭建華，攜程大數(shù)據(jù)平臺(tái)研發(fā)工程師,2016年碩士畢業(yè)于上海大學(xué)后,一直在攜程的大數(shù)據(jù)平臺(tái)部門(mén)從事離線(xiàn)平臺(tái)的維護(hù)與研發(fā)工作,對(duì)存儲(chǔ)框架HDFS、Alluxio,計(jì)算框架Spark SQL和Hive有一定的了解。

本文的主要內(nèi)容包括離線(xiàn)和實(shí)時(shí)在攜程大數(shù)據(jù)中都占據(jù)重要地位，為了解決資源競(jìng)爭(zhēng)帶來(lái)的問(wèn)題，攜程將部分實(shí)時(shí)作業(yè)單獨(dú)建立集群，同時(shí)帶來(lái)了新的問(wèn)題，跨集群讀寫(xiě)數(shù)據(jù)。同時(shí)，部分作業(yè)需要準(zhǔn)時(shí)實(shí)時(shí)的離線(xiàn)查詢(xún)，這給當(dāng)前的框架帶來(lái)挑戰(zhàn)。本次分享介紹了如何引入Alluxio來(lái)解決這些問(wèn)題進(jìn)行了探討，并分享碰到的一些問(wèn)題和踩過(guò)的坑。

標(biāo)簽： 大數(shù)據(jù) 大數(shù)據(jù)平臺(tái)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。