作為騰訊最核心最基礎的后臺服務之一，QQ基礎數(shù)據(jù)庫是存儲QQ用戶帳戶信息和關系鏈信息的海量集群，它承載了百萬級每秒的訪問量、十億級的賬戶數(shù)、百億級關系鏈。如此大規(guī)模的集群，它是如何從300萬的數(shù)量級一步一步演變而來？在它數(shù)據(jù)量不斷增長的過程中，它經(jīng)歷了哪些困難，又是如何解決的？如今，它的架構是怎么樣的？4月10日晚，騰訊大講堂《QQ基礎數(shù)據(jù)庫架構演變之路》活動在武漢人文館主廳舉辦。超過1000位學生和業(yè)內人士到場參加，整個會議廳人山人海。

廖念波先生從QQ Basic DB是什么講起，開始了本次的講座。

QQ Basic DB是什么？是QQ用戶帳號（用戶密碼與資料）與關系鏈等基礎數(shù)據(jù)的分布式海量存儲集群。是QQ IM業(yè)務的后臺DB；是騰訊幾乎所有其他業(yè)務的基礎，提供用戶帳號和關系鏈服務。它與QQ IM 集群并列為騰訊最核心、歷史最久的兩大集群。

早期的難題

在2000年，QQ Basic DB將每300萬連續(xù)QQ號碼存儲在一個機器上。我們碰到的最大問題是在登錄比較頻繁的情況下，磁盤非常忙，登錄超時。找到了影響磁盤隨機尋址能力的因素，我們提出了解決方案在進程空間內，動態(tài)分配一些內存，將用戶熱點數(shù)據(jù)cache到內存中。使得處理能力顯著提升，單機能夠處理1-2千次每秒的請求。

時間進入2002年，隨著機器臺數(shù)增多，死機是家常便飯。QQ Basic DB通過IDC級容災、數(shù)據(jù)復制等方法將（500+）*2臺機器；數(shù)百億的關系鏈，數(shù)十億的賬戶數(shù)；每秒上百萬次讀，數(shù)萬次寫的數(shù)據(jù)庫的全年可用性做到了99.99%。

如何做到高可用？

1、IDC級的容災

2、灰度發(fā)布

3、強監(jiān)控，及時處理

Bison提到，隨著時代的變遷，需求不斷增加，QQ Basic DB走入了V2.0。當前的需求與DB能力的脫節(jié)；一地的機房已飽和，異地部署逼在眉睫！新增一個帳號相關字段，需要2個月，把內存全部重新load一遍，風險極高。老的架構不能很好的支持異地部署，因此QQ Basic DB V2.0應運而生。

在演講中Bison特別強調，要做到產品特性靈活擴展，最關鍵的是用戶數(shù)據(jù)結構的靈活性！QQ Basic DB在V2.0版本中，對數(shù)據(jù)結構擴展性上進行了大量優(yōu)化�，F(xiàn)場Bison例舉了一個很簡單的例子：采用XML開式存儲用戶數(shù)據(jù)的優(yōu)劣性。存儲海量數(shù)據(jù)的QQ Basic DB，不適宜采用類似XML方式進行存儲，原因是當存儲量超過億級時，冗余信息將極大占用通訊帶寬！QQ團隊通過tag整數(shù)化、必選的定長字段共用一個tag等手段，最終讓DB有效載荷相對XML模式提升了 10倍，pack/unpack效率提升了100倍！

Bison列舉的一個簡單XML存儲例子

在下一個部分，Bison主要提到了大家比較關心的QQ Basic DB安全性問題，其中一個非常重要的點就是異地部署。他特別強調，數(shù)據(jù)安全最關鍵的是有一套簡單健壯、適應窄帶化的數(shù)據(jù)復制機制。QQ Basic DBV2.0通過類似mysql復制機制做到了簡單健壯，帶寬占用窄帶化，在專線故障情況下，流量可以在內外網(wǎng)靈活切換。目前在全國各地都有部署。

接下來，廖念波先生給大家介紹了優(yōu)化了分片（sharding）方式、超長關系鏈解決方法、過載保護等方面的內容，給大家全面展示了騰訊的一些技術積累和總結。

文章來源：騰訊大講堂

標簽： QQ基礎數(shù)據(jù) QQ數(shù)據(jù) 夤辜

版權申明：本站文章部分自網(wǎng)絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。