LinkedIn 總部位于美國加利福尼亞州山景城，是一家全球最大的職業(yè)社交網(wǎng)站，成立于 2002 年 12 月，于 2011 年 5 月 20 日在美上市。截至目前，LinkedIn 一共有超過 6.45 億會(huì)員，超過 2000 萬個(gè)工作崗位。LinkedIn 目前使用 Kafka 日均處理消息超 4.5 萬億條，并已決定將所有工作負(fù)載遷移到 Azure 公有云上。

2009 年，LinkedIn 注冊(cè)用戶超過 5000 萬人。2014 年，其注冊(cè)用戶規(guī)模已經(jīng)超過 3 億。而今天，LinkedIn 已經(jīng)擁有超過 6.45 億注冊(cè)用戶，超過 2000 萬個(gè)工作崗位，每八秒鐘就有一個(gè)人通過 LinkedIn 被雇傭。

伴隨業(yè)務(wù)規(guī)模的不斷擴(kuò)大，LinkedIn 的技術(shù)團(tuán)隊(duì)需要成長(zhǎng)得更加健壯，才能滿足業(yè)務(wù)需求。LinkedIn 的技術(shù)團(tuán)隊(duì)創(chuàng)造了一個(gè)世界級(jí)的基礎(chǔ)設(shè)施和一套工具和產(chǎn)品，使用 Project Inversion 重建了整個(gè)軟件開發(fā)基礎(chǔ)設(shè)施，并且選擇將技術(shù)團(tuán)隊(duì)造的輪子開源，回饋社區(qū)與其他公司。在 LinkedIn 的數(shù)據(jù)基礎(chǔ)設(shè)施中， Kafka 是核心支柱之一。

LinkedIn 在 2011 年 7 月開始大規(guī)模使用 Kafka，當(dāng)時(shí) Kafka 每天大約處理 10 億條消息，這一數(shù)據(jù)在 2012 年達(dá)到了每天 200 億條，而到了 2013 年 7 月，每天處理的消息達(dá)到了 2000 億條。2015 年，他們的最新記錄是每天利用 Kafka 處理的消息超過 1 萬億條，在峰值時(shí)每秒鐘會(huì)發(fā)布超過 450 萬條消息，每周處理的信息是 1.34 PB。每條消息平均會(huì)被 4 個(gè)應(yīng)用處理。在使用 Kafka 的最初四年中，實(shí)現(xiàn)了 1200 倍的增長(zhǎng)。2019 年，這個(gè)數(shù)字已經(jīng)變成了 4.5 萬億條。

LinkedIn 在將 Kafka 捐獻(xiàn)給 Apache 基金會(huì)后，也在持續(xù)打磨、優(yōu)化著 Kafka 的使用與生態(tài)。隨著規(guī)模的不斷擴(kuò)大，LinkedIn 更加關(guān)注于 Kafka 的可靠性、成本、安全性、可用性以及其他的基礎(chǔ)指標(biāo)。

LinkedIn 在 Kafka 上的主要關(guān)注領(lǐng)域包括：

配額(Quotas)

開發(fā)新的 Consumer

可靠性和可用性的提升

安全性

……

除了關(guān)注打磨 Kafka 技術(shù)本身以外，LinkedIn 還針對(duì) Kafka 構(gòu)建了一套完整的生態(tài)系統(tǒng)，以解決日益增長(zhǎng)的業(yè)務(wù)規(guī)模所帶來的新挑戰(zhàn)。

 

 

上圖并不能完全反映 LinkedIn 的各種數(shù)據(jù)管道和拓?fù)浣Y(jié)構(gòu)，但足以說明 LinkedIn 的 Kafka 部署的關(guān)鍵部分，以及它們是怎樣相互作用。

另據(jù)了解，LinkedIn 目前正在更換其數(shù)據(jù)中心，計(jì)劃在未來幾年向 Azure 遷移，并將關(guān)鍵業(yè)務(wù)數(shù)據(jù)委托給云平臺(tái)。LinkedIn 高級(jí)副總裁 Mohak Shroff 表示，這將是該公司史上最大的技術(shù)轉(zhuǎn)型之一，預(yù)計(jì)至少需要三年時(shí)間才能完成 6.45 億用戶數(shù)據(jù)遷移，以避免損害網(wǎng)站的可訪問性、可靠性和性能。

標(biāo)簽： Kafka  LinkedIn

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。