分享嘉賓郭建華，攜程大數(shù)據(jù)平臺研發(fā)工程師,2016年碩士畢業(yè)于上海大學后,一直在攜程的大數(shù)據(jù)平臺部門從事離線平臺的維護與研發(fā)工作,對存儲框架HDFS、Alluxio,計算框架Spark SQL和Hive有一定的了解。

本文的主要內容包括離線和實時在攜程大數(shù)據(jù)中都占據(jù)重要地位，為了解決資源競爭帶來的問題，攜程將部分實時作業(yè)單獨建立集群，同時帶來了新的問題，跨集群讀寫數(shù)據(jù)。同時，部分作業(yè)需要準時實時的離線查詢，這給當前的框架帶來挑戰(zhàn)。本次分享介紹了如何引入Alluxio來解決這些問題進行了探討，并分享碰到的一些問題和踩過的坑。

標簽： 大數(shù)據(jù) 大數(shù)據(jù)平臺

版權申明：本站文章部分自網(wǎng)絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。