作為騰訊最核心最基礎(chǔ)的后臺服務(wù)之一，QQ基礎(chǔ)數(shù)據(jù)庫是存儲QQ用戶帳戶信息和關(guān)系鏈信息的海量集群，它承載了百萬級每秒的訪問量、十億級的賬戶數(shù)、百億級關(guān)系鏈。如此大規(guī)模的集群，它是如何從300萬的數(shù)量級一步一步演變而來？在它數(shù)據(jù)量不斷增長的過程中，它經(jīng)歷了哪些困難，又是如何解決的？如今，它的架構(gòu)是怎么樣的？4月10日晚，騰訊大講堂《QQ基礎(chǔ)數(shù)據(jù)庫架構(gòu)演變之路》活動在武漢人文館主廳舉辦。超過1000位學生和業(yè)內(nèi)人士到場參加，整個會議廳人山人海。

廖念波先生從QQ Basic DB是什么講起，開始了本次的講座。

QQ Basic DB是什么？是QQ用戶帳號（用戶密碼與資料）與關(guān)系鏈等基礎(chǔ)數(shù)據(jù)的分布式海量存儲集群。是QQ IM業(yè)務(wù)的后臺DB；是騰訊幾乎所有其他業(yè)務(wù)的基礎(chǔ)，提供用戶帳號和關(guān)系鏈服務(wù)。它與QQ IM 集群并列為騰訊最核心、歷史最久的兩大集群。

早期的難題

在2000年，QQ Basic DB將每300萬連續(xù)QQ號碼存儲在一個機器上。我們碰到的最大問題是在登錄比較頻繁的情況下，磁盤非常忙，登錄超時。找到了影響磁盤隨機尋址能力的因素，我們提出了解決方案在進程空間內(nèi)，動態(tài)分配一些內(nèi)存，將用戶熱點數(shù)據(jù)cache到內(nèi)存中。使得處理能力顯著提升，單機能夠處理1-2千次每秒的請求。

時間進入2002年，隨著機器臺數(shù)增多，死機是家常便飯。QQ Basic DB通過IDC級容災(zāi)、數(shù)據(jù)復(fù)制等方法將（500+）*2臺機器；數(shù)百億的關(guān)系鏈，數(shù)十億的賬戶數(shù)；每秒上百萬次讀，數(shù)萬次寫的數(shù)據(jù)庫的全年可用性做到了99.99%。

如何做到高可用？

1、IDC級的容災(zāi)

2、灰度發(fā)布

3、強監(jiān)控，及時處理

Bison提到，隨著時代的變遷，需求不斷增加，QQ Basic DB走入了V2.0。當前的需求與DB能力的脫節(jié)；一地的機房已飽和，異地部署逼在眉睫！新增一個帳號相關(guān)字段，需要2個月，把內(nèi)存全部重新load一遍，風險極高。老的架構(gòu)不能很好的支持異地部署，因此QQ Basic DB V2.0應(yīng)運而生。

在演講中Bison特別強調(diào)，要做到產(chǎn)品特性靈活擴展，最關(guān)鍵的是用戶數(shù)據(jù)結(jié)構(gòu)的靈活性！QQ Basic DB在V2.0版本中，對數(shù)據(jù)結(jié)構(gòu)擴展性上進行了大量優(yōu)化�，F(xiàn)場Bison例舉了一個很簡單的例子：采用XML開式存儲用戶數(shù)據(jù)的優(yōu)劣性。存儲海量數(shù)據(jù)的QQ Basic DB，不適宜采用類似XML方式進行存儲，原因是當存儲量超過億級時，冗余信息將極大占用通訊帶寬！QQ團隊通過tag整數(shù)化、必選的定長字段共用一個tag等手段，最終讓DB有效載荷相對XML模式提升了 10倍，pack/unpack效率提升了100倍！

Bison列舉的一個簡單XML存儲例子

在下一個部分，Bison主要提到了大家比較關(guān)心的QQ Basic DB安全性問題，其中一個非常重要的點就是異地部署。他特別強調(diào)，數(shù)據(jù)安全最關(guān)鍵的是有一套簡單健壯、適應(yīng)窄帶化的數(shù)據(jù)復(fù)制機制。QQ Basic DBV2.0通過類似mysql復(fù)制機制做到了簡單健壯，帶寬占用窄帶化，在專線故障情況下，流量可以在內(nèi)外網(wǎng)靈活切換。目前在全國各地都有部署。

接下來，廖念波先生給大家介紹了優(yōu)化了分片（sharding）方式、超長關(guān)系鏈解決方法、過載保護等方面的內(nèi)容，給大家全面展示了騰訊的一些技術(shù)積累和總結(jié)。

文章來源：騰訊大講堂

標簽： QQ基礎(chǔ)數(shù)據(jù) QQ數(shù)據(jù) 夤辜

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。