大型web系統架構詳解

動態應用，是相對于網站靜態內容而言，是指以 c/c++ 、 php 、 Java 、 perl 、 .net 等服務器端語言開發的網絡應用軟件，比如論壇、網絡相冊、交友、 BLOG 等常見應用。動態應用系統通常與數據庫系統、緩存系統、分布式存儲系統等密不可分。

　　大型動態應用系統平臺主要是針對于大流量、高并發網站建立的底層系統架構。大型網站的運行需要一個可靠、安全、可擴展、易維護的應用系統平臺做為支撐，以保證網站應用的平穩運行。　

　　大型動態應用系統又可分為幾個子系統：
　　 (1) Web前端系統
　　(2) 負載均衡系統
　　(3) 數據庫集群系統
　　(4) 緩存系統
　　(5) 分布式存儲系統
　　(6) 分布式服務器管理系統
　　(7) 代碼分發系統

推薦下小編的JAVA學習群；537357296，不管你是小白還是大牛，小編我都歡迎，不定期分享干貨，

包括小編自己整理的一份2019最新的JAVA和0基礎入門教程，歡迎初學和進階中的小伙伴。

每天晚上20:00都會開直播給大家分享JAVA知識和路線方法，群里會不定期更新最新的教程和學習方法

（進群送2019JAVA學習教程），大家都是學習JAVA的，或是轉行，或是大學生，還有工作中想提升自己能力的JAVA黨，

如果你是正在學習JAVA的小伙伴可以加入學習。最后祝所有程序員都能夠走上人生巔峰，讓代碼將夢想照進現實，

非常適合新手學習，有不懂的問題可以隨時問我，工作不忙的時候希望可以給大家解惑

一、Web 前端系統

 　　為了達到不同應用的服務器共享、避免單點故障、集中管理、統一配置等目的，不以應用劃分服務器，而是將所有服務器做統一使用，每臺服務器都可以對多個應用提供服務，當某些應用訪問量升高時，通過增加服務器節點達到整個服務器集群的性能提高，同時使他應用也會受益。

　　該 Web 前端系統基于 Apache/Lighttpd/Eginx 等的虛擬主機平臺，提供 java程序運行環境。服務器對開發人員是透明的，不需要開發人員介入服務器管理

二、負載均衡系統

 　　負載均衡系統分為硬件和軟件兩種。

　　硬件負載均衡效率高，但是價格貴，比如 F5 等。軟件負載均衡系統價格較低或者免費，效率較硬件負載均衡系統低，不過對于流量一般或稍大些網站來講也足夠使用，比如 lvs,nginx 。大多數網站都是硬件、軟件負載均衡系統并用。

三、數據庫集群系統

　　由于 Web 前端采用了負載均衡集群結構提高了服務的有效性和擴展性，因此數據庫必須也是高可靠的，才能保證整個服務體系的高可靠性，如何構建一個高可靠的、可以提供大規模并發處理的數據庫體系？

　　我們可以采用如上圖所示的方案：

　　(1)  使用  MySQL  數據庫，考慮到 Web 應用的數據庫讀多寫少的特點，我們主要對讀數據庫做了優化，提供專用的讀數據庫和寫數據庫，在應用程序中實現讀操作和寫操作分別訪問不同的數據庫。

　　(2)  使用  MySQL Replication  機制實現快速將主庫 (寫庫) 的數據庫復制到從庫(讀庫) 。一個主庫對應多個從庫，主庫數據實時同步到從庫。

　　(3)  寫數據庫有多臺，每臺都可以提供多個應用共同使用，這樣可以解決寫庫的性能瓶頸問題和單點故障問題。

　　(4)  讀數據庫有多臺，通過負載均衡設備實現負載均衡，從而達到讀數據庫的高性能、高可靠和高可擴展性。

　　(5)  數據庫服務器和應用服務器分離。

　　(6)  從數據庫使用 BigIP 做負載均衡。

四、緩存系統

　　緩存分為文件緩存、內存緩存、數據庫緩存。在大型 Web 應用中使用最多且效率最高的是內存緩存。最常用的內存緩存工具是 Memcached 。使用正確的緩存系統可以達到實現以下目標：

　　(1) 使用緩存系統可以提高訪問效率，提高服務器吞吐能力，改善用戶體驗。

　　(2) 減輕對數據庫及存儲集服務器的訪問壓力。

　　(3) Memcached 服務器有多臺，避免單點故障，提供高可靠性和可擴展性，提高性能。

五、分布式存儲系統

　　Web 系統平臺中的存儲需求有下面兩個特點：

　　(1)  存儲量很大，經常會達到單臺服務器無法提供的規模，比如相冊、視頻等應用。因此需要專業的大規模存儲系統。

　　(2)  負載均衡 cluster 中的每個節點都有可能訪問任何一個數據對象，每個節點對數據的處理也能被其他節點共享，因此這些節點要操作的數據從邏輯上看只能是一個整體，不是各自獨立的數據資源。

　　因此高性能的分布式存儲系統對于大型網站應用來說是非常重要的一環。(這個地方需要加入對某個分布式存儲系統的簡單介紹。) 

六、分布式服務器管理系統

 　　隨著網站訪問流量的不斷增加，大多的網絡服務都是以負載均衡集群的方式對外提供服務，隨之集群規模的擴大，原來基于單機的服務器管理模式已經不能夠滿足我們的需求，新的需求必須能夠集中式的、分組的、批量的、自動化的對服務器進行管理，能夠批量化的執行計劃任務。

　　在分布式服務器管理系統軟件中有一些比較優秀的軟件，其中比較理想的一個是 Cfengine 。它可以對服務器進行分組，不同的分組可以分別定制系統配置文件、計劃任務等配置。它是基于 C/S  結構的，所有的服務器配置和管理腳本程序都保存在 Cfengine Server 上，而被管理的服務器運行著  Cfengine Client  程序， Cfengine Client 通過 SSL 加密的連接定期的向服務器端發送請求以獲取最新的配置文件和管理命令、腳本程序、補丁安裝等任務。

　　有了 Cfengine 這種集中式的服務器管理工具，我們就可以高效的實現大規模的服務器集群管理，被管理服務器和  Cfengine Server  可以分布在任何位置，只要網絡可以連通就能實現快速自動化的管理。

七、代碼發布系統

 　　隨著網站訪問流量的不斷增加，大多的網絡服務都是以負載均衡集群的方式對外提供服務，隨之集群規模的擴大，為了滿足集群環境下程序代碼的批量分發和更新，我們還需要一個程序代碼發布系統。

　　這個發布系統可以幫我們實現下面的目標：

　　(1)  生產環境的服務器以虛擬主機方式提供服務，不需要開發人員介入維護和直接操作，提供發布系統可以實現不需要登陸服務器就能把程序分發到目標服務器。

　　(2)  我們要實現內部開發、內部測試、生產環境測試、生產環境發布的 4 個開發階段的管理，發布系統可以介入各個階段的代碼發布。

　　(3)  我們需要實現源代碼管理和版本控制， SVN 可以實現該需求。

　　這里面可以使用常用的工具 Rsync ，通過開發相應的腳本工具實現服務器集群間代碼同步分發。