史上最強(qiáng)大型分布式架構(gòu)匯總：高并發(fā)+性能優(yōu)化+緩存+存儲(chǔ)+微服務(wù)

2018-09-11    來源：SEO研究協(xié)會(huì)網(wǎng)

一、大型網(wǎng)站的特點(diǎn)

1. 用戶多，分布廣泛
2. 大流量，高并發(fā)
3. 海量數(shù)據(jù)，服務(wù)高可用
4. 安全環(huán)境惡劣，易受網(wǎng)絡(luò)攻擊
5. 功能多，變更快，頻繁發(fā)布
6. 從小到大，漸進(jìn)發(fā)展
7. 以用戶為中心
8. 免費(fèi)服務(wù)，付費(fèi)體驗(yàn)

二、大型網(wǎng)站架構(gòu)目標(biāo)

1. 高性能：提供快速的訪問體驗(yàn)。
2. 高可用：網(wǎng)站服務(wù)一直可以正常訪問。
3. 可伸縮：通過硬件增加/減少，提高/降低處理能力。
4. 安全性：提供網(wǎng)站安全訪問和數(shù)據(jù)加密，安全存儲(chǔ)等策略。
5. 擴(kuò)展性：方便的通過新增/移除方式，增加/減少新的功能/模塊。
6. 敏捷性：隨需應(yīng)變，快速響應(yīng)；

三、大型網(wǎng)站架構(gòu)模式

1. 分層：一般可分為，應(yīng)用層，服務(wù)層，數(shù)據(jù)層，管理層，分析層；
2. 分割：一般按照業(yè)務(wù)/模塊/功能特點(diǎn)進(jìn)行劃分，比如應(yīng)用層分為首頁，用戶中心。
3. 分布式：將應(yīng)用分開部署（比如多臺(tái)物理機(jī)），通過遠(yuǎn)程調(diào)用協(xié)同工作。
4. 集群：一個(gè)應(yīng)用/模塊/功能部署多份（如：多臺(tái)物理機(jī)），通過負(fù)載均衡共同提供對外訪問。
5. 緩存：將數(shù)據(jù)放在距離應(yīng)用或用戶最近的位置，加快訪問速度。
6. 異步：將同步的操作異步化。客戶端發(fā)出請求，不等待服務(wù)端響應(yīng)，等服務(wù)端處理完畢后，使用通知或輪詢的方式告知請求方。一般指：請求——響應(yīng)——通知 模式。
7. 冗余：增加副本，提高可用性，安全性，性能。
8. 安全：對已知問題有有效的解決方案，對未知/潛在問題建立發(fā)現(xiàn)和防御機(jī)制。
9. 自動(dòng)化：將重復(fù)的，不需要人工參與的事情，通過工具的方式，使用機(jī)器完成。
10. 敏捷性：積極接受需求變更，快速響應(yīng)業(yè)務(wù)發(fā)展需求。

四、高性能架構(gòu)

以用戶為中心，提供快速的網(wǎng)頁訪問體驗(yàn)。主要參數(shù)有較短的響應(yīng)時(shí)間，較大的并發(fā)處理能力，較高的吞吐量，穩(wěn)定的性能參數(shù)。

1. 可分為前端優(yōu)化，應(yīng)用層優(yōu)化，代碼層優(yōu)化，存儲(chǔ)層優(yōu)化。
2. 前端優(yōu)化：網(wǎng)站業(yè)務(wù)邏輯之前的部分；
3. 瀏覽器優(yōu)化：減少Http請求數(shù)，使用瀏覽器緩存，啟用壓縮，Css Js位置，Js異步，減少Cookie傳輸；
4. CDN加速，反向代理；
5. 應(yīng)用層優(yōu)化：處理網(wǎng)站業(yè)務(wù)的服務(wù)器。使用緩存，異步，集群
6. 代碼優(yōu)化：合理的架構(gòu)，多線程，資源復(fù)用（對象池，線程池等），良好的數(shù)據(jù)結(jié)構(gòu)，JVM調(diào)優(yōu)，單例，Cache等；
7. 存儲(chǔ)優(yōu)化：緩存，固態(tài)硬盤，光纖傳輸，優(yōu)化讀寫，磁盤冗余，分布式存儲(chǔ)（HDFS），NOSQL等；

五、高可用架構(gòu)

大型網(wǎng)站應(yīng)該在任何時(shí)候都可以正常訪問。正常提供對外服務(wù)。因?yàn)榇笮途W(wǎng)站的復(fù)雜性，分布式，廉價(jià)服務(wù)器，開源數(shù)據(jù)庫，操作系統(tǒng)等特點(diǎn)。要保證高可用是很困難的，也就是說網(wǎng)站的故障是不可避免的。

如何提高可用性，就是需要迫切解決的問題。首先，需要從架構(gòu)級別，在規(guī)劃的時(shí)候，就考慮可用性。行業(yè)內(nèi)一般用幾個(gè)9表示可用性指標(biāo)。比如四個(gè)9（99.99），一年內(nèi)允許的不可用時(shí)間是53分鐘。

1. 不同層級使用的策略不同，一般采用冗余備份和失效轉(zhuǎn)移解決高可用問題。
2. 應(yīng)用層：一般設(shè)計(jì)為無狀態(tài)的，對于每次請求，使用哪一臺(tái)服務(wù)器處理是沒有影響的。一般使用負(fù)載均衡技術(shù)（需要解決Session同步問題），實(shí)現(xiàn)高可用。
3. 服務(wù)層：負(fù)載均衡，分級管理，快速失�。ǔ瑫r(shí)設(shè)置），異步調(diào)用，服務(wù)降級，冪等設(shè)計(jì)等。
4. 數(shù)據(jù)層：冗余備份（冷，熱備[同步，異步]，溫備），失效轉(zhuǎn)移（確認(rèn)，轉(zhuǎn)移，恢復(fù)）。數(shù)據(jù)高可用方面著名的理論基礎(chǔ)是CAP理論（持久性，可用性，數(shù)據(jù)一致性[強(qiáng)一致，用戶一致，最終一致]）

六、可伸縮架構(gòu)

伸縮性是指在不改變原有架構(gòu)設(shè)計(jì)的基礎(chǔ)上，通過添加/減少硬件（服務(wù)器）的方式，提高/降低系統(tǒng)的處理能力。

1. 應(yīng)用層：對應(yīng)用進(jìn)行垂直或水平切分。然后針對單一功能進(jìn)行負(fù)載均衡（DNS,HTTP[反向代理],IP,鏈路層）。
2. 服務(wù)層：與應(yīng)用層類似；
3. 數(shù)據(jù)層：分庫，分表，NOSQL等；常用算法Hash，一致性Hash。

七、可擴(kuò)展架構(gòu)

可以方便的進(jìn)行功能模塊的新增/移除，提供代碼/模塊級別良好的可擴(kuò)展性。

1. 模塊化，組件化：高內(nèi)聚，內(nèi)耦合，提高復(fù)用性，擴(kuò)展性。
2. 穩(wěn)定接口：定義穩(wěn)定的接口，在接口不變的情況下，內(nèi)部結(jié)構(gòu)可以“隨意”變化。
3. 設(shè)計(jì)模式：應(yīng)用面向?qū)ο笏枷耄�原則，使用設(shè)計(jì)模式，進(jìn)行代碼層面的設(shè)計(jì)。
4. 消息隊(duì)列：模塊化的系統(tǒng)，通過消息隊(duì)列進(jìn)行交互，使模塊之間的依賴解耦。
5. 分布式服務(wù)：公用模塊服務(wù)化，提供其他系統(tǒng)使用，提高可重用性，擴(kuò)展性。

八、安全架構(gòu)

對已知問題有有效的解決方案，對未知/潛在問題建立發(fā)現(xiàn)和防御機(jī)制。對于安全問題，首先要提高安全意識，建立一個(gè)安全的有效機(jī)制，從政策層面，組織層面進(jìn)行保障。比如服務(wù)器密碼不能泄露，密碼每月更新，并且三次內(nèi)不能重復(fù)；每周安全掃描等。以制度化的方式，加強(qiáng)安全體系的建設(shè)。同時(shí)，需要注意與安全有關(guān)的各個(gè)環(huán)節(jié)。安全問題不容忽視。包括基礎(chǔ)設(shè)施安全，應(yīng)用系統(tǒng)安全，數(shù)據(jù)保密安全等。

1. 基礎(chǔ)設(shè)施安全：硬件采購，操作系統(tǒng)，網(wǎng)絡(luò)環(huán)境方面的安全。一般采用，正規(guī)渠道購買高質(zhì)量的產(chǎn)品，選擇安全的操作系統(tǒng)，及時(shí)修補(bǔ)漏洞，安裝殺毒軟件防火墻。防范病毒，后門。設(shè)置防火墻策略，建立DDOS防御系統(tǒng)，使用攻擊檢測系統(tǒng)，進(jìn)行 子網(wǎng)隔離等手段。
2. 應(yīng)用系統(tǒng)安全：在程序開發(fā)時(shí)，對已知常用問題，使用正確的方式，在代碼層面解決掉。防止跨站腳本攻擊（XSS），注入攻擊，跨站請求偽造（CSRF），錯(cuò)誤信息，HTML注釋，文件上傳，路徑遍歷等。還可以使用Web應(yīng)用防火墻（比如：ModSecurity），進(jìn)行安全漏洞掃描等措施，加強(qiáng)應(yīng)用級別的安全。
3. 數(shù)據(jù)保密安全：存儲(chǔ)安全（存在在可靠的設(shè)備，實(shí)時(shí)，定時(shí)備份），保存安全（重要的信息加密保存，選擇合適的人員復(fù)雜保存和檢測等），傳輸安全（防止數(shù)據(jù)竊取和數(shù)據(jù)篡改）；
4. 常用的加解密算法（單項(xiàng)散列加密[MD5,SHA]，對稱加密[DES,3DES,RC]），非對稱加密[RSA]等。

九、敏捷性

1. 網(wǎng)站的架構(gòu)設(shè)計(jì)，運(yùn)維管理要適應(yīng)變化，提供高伸縮性，高擴(kuò)展性。方便的應(yīng)對快速的業(yè)務(wù)發(fā)展，突增高流量訪問等要求。
2. 除上面介紹的架構(gòu)要素外，還需要引入敏捷管理，敏捷開發(fā)的思想。使業(yè)務(wù)，產(chǎn)品，技術(shù)，運(yùn)維統(tǒng)一起來，隨需應(yīng)變，快速響應(yīng)。

十、大型架構(gòu)舉例

以上采用七層邏輯架構(gòu)，第一層客戶層，第二層前端優(yōu)化層，第三層應(yīng)用層，第四層服務(wù)層，第五層數(shù)據(jù)存儲(chǔ)層，第六層大數(shù)據(jù)存儲(chǔ)層，第七層大數(shù)據(jù)處理層。

1. 客戶層：支持PC瀏覽器和手機(jī)APP。差別是手機(jī)APP可以直接訪問通過IP訪問，反向代理服務(wù)器。
2. 前端層：使用DNS負(fù)載均衡，CDN本地加速以及反向代理服務(wù)；
3. 應(yīng)用層：網(wǎng)站應(yīng)用集群；按照業(yè)務(wù)進(jìn)行垂直拆分，比如商品應(yīng)用，會(huì)員中心等；
4. 服務(wù)層：提供公用服務(wù)，比如用戶服務(wù)，訂單服務(wù)，支付服務(wù)等；
5. 數(shù)據(jù)層：支持關(guān)系型數(shù)據(jù)庫集群（支持讀寫分離），NOSQL集群，分布式文件系統(tǒng)集群；以及分布式Cache；
6. 大數(shù)據(jù)存儲(chǔ)層：支持應(yīng)用層和服務(wù)層的日志數(shù)據(jù)收集，關(guān)系數(shù)據(jù)庫和NOSQL數(shù)據(jù)庫的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)收集；
7. 大數(shù)據(jù)處理層：通過Mapreduce進(jìn)行離線數(shù)據(jù)分析或Storm實(shí)時(shí)數(shù)據(jù)分析，并將處理后的數(shù)據(jù)存入關(guān)系型數(shù)據(jù)庫。

以上就是大型分布式架構(gòu)的總結(jié)，以下是最新阿里P8架構(gòu)師談架構(gòu)設(shè)計(jì)系列文章。

最新阿里P8架構(gòu)師系列資料

資料領(lǐng)取方法

關(guān)注+轉(zhuǎn)發(fā)后，私信關(guān)鍵詞 【架構(gòu)】即可學(xué)習(xí)！

重要的事情說三遍，轉(zhuǎn)發(fā)、轉(zhuǎn)發(fā)、轉(zhuǎn)發(fā)后再發(fā)私信，才可以拿到哦！

本文僅代表作者個(gè)人觀點(diǎn)，不代表SEO研究協(xié)會(huì)網(wǎng)官方發(fā)聲，對觀點(diǎn)有疑義請先聯(lián)系作者本人進(jìn)行修改，若內(nèi)容非法請聯(lián)系平臺(tái)管理員，郵箱cxb5918@163.com。更多相關(guān)資訊，請到SEO研究協(xié)會(huì)網(wǎng)bingfeng168.cn學(xué)習(xí)互聯(lián)網(wǎng)營銷技術(shù)請到巨推學(xué)院www.jutuiedu.com。

標(biāo)簽： ddos ddos防御 dns seo web應(yīng)用防火墻 安全 大數(shù)據(jù) 大數(shù)據(jù)處理 代理服務(wù)器 代碼 定時(shí)備份 防火墻 防火墻策略 服務(wù)器 互聯(lián)網(wǎng) 腳本 漏洞 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。