技術(shù)架構(gòu)
分布式架構(gòu)云平臺在充分分析IT技術(shù)發(fā)展趨勢，遵循集中化、標準化、集成化、可靠化和可擴展化的設計原則，以價值創(chuàng)造為使命，以規(guī)范化、一體化、智能化的云平臺為支撐，實現(xiàn)信息的透明共享、業(yè)務的敏捷協(xié)同、管控及時、決策科學為設計目標，選擇傳統(tǒng)成熟的J2EE、SOA、應用集成和BI信息技術(shù)和新一代的云計算、大數(shù)據(jù)、移動應用信息技術(shù)相結(jié)合的技術(shù)路線。
分布式架構(gòu)云平臺規(guī)劃設計了集約化、云架構(gòu)動態(tài)配置的企業(yè)IT基礎(chǔ)設施；
共享化、集中數(shù)據(jù)存儲管理的企業(yè)數(shù)據(jù)資源服務；
組件化、平臺化、柔性集成的企業(yè)應用支撐服務；
標準化、服務化、整合智能的企業(yè)業(yè)務應用服務；
一站式、多終端服務的企業(yè)信息展示交互服務等技術(shù)層，每層又包括若干成熟穩(wěn)定的技術(shù)組件，各技術(shù)層，自下而上，層層支撐，各技術(shù)組件松散耦合，互聯(lián)互通，科學高效，易于擴展，減少了信息孤島，增強了系統(tǒng)的標準化和集約化，優(yōu)化了系統(tǒng)的用戶體驗，提高工作效率。
分布式架構(gòu)云平臺技術(shù)設計原則
先進性原則
在整體設計和實現(xiàn)上，依托云計算、大數(shù)據(jù)領(lǐng)域的知名開源項目(如Hadoop、Spark、OpenStack等)。由于遵循了業(yè)界廣泛認可的事實標準，可以充分借力全球生態(tài)圈的資源，推動軟硬件分層解耦，不斷提升兼容性。兼容多種異構(gòu)物理設備，避免廠商綁定。數(shù)據(jù)層面，支持多種數(shù)據(jù)源，包括結(jié)構(gòu)化/非結(jié)構(gòu)化類型的數(shù)據(jù)處理，數(shù)據(jù)本身、數(shù)據(jù)計算也都支持開放共享。優(yōu)先采用先進成熟的技術(shù)組件，搭建穩(wěn)定并且高效的大數(shù)據(jù)云計算管理平臺，并在平臺基礎(chǔ)上實現(xiàn)大規(guī)模的數(shù)據(jù)采集與分析的相關(guān)業(yè)務應用。平臺設計以滿足當前的業(yè)務功能為主，兼顧考慮未來發(fā)展的趨勢。
可靠性原則
可靠性包括整體可靠性、數(shù)據(jù)可靠性和單一設備可靠性三個層次。通過大數(shù)據(jù)云計算平臺的分布式計算、存儲架構(gòu)，從整體系統(tǒng)上提高可靠性，降低系統(tǒng)對單設備可靠性的要求；平臺設計方面保證基于hadoop和虛擬化的集群系統(tǒng)平臺的穩(wěn)定與高效，提供針對現(xiàn)有底層硬件設備的Hadoop和虛擬化相關(guān)技術(shù)組件的調(diào)優(yōu)，以及對于整體集群的配套監(jiān)控系統(tǒng)的搭建和集群維護與管理等相關(guān)方案；應用設計方面采用明確的應用分層架構(gòu)，一方面可實現(xiàn)上層數(shù)據(jù)應用與底層基礎(chǔ)數(shù)據(jù)的依賴分離，實現(xiàn)應用架構(gòu)上的解耦；另一方面可提高上層數(shù)據(jù)的分析效率與降低運行成本。采用相關(guān)的容錯技術(shù)和故障處理技術(shù)，保證數(shù)據(jù)應用的安全可靠，保證數(shù)據(jù)分析平臺可用性達到使用要求。
安全保密性
采用統(tǒng)一的用戶認證，統(tǒng)一的用戶、權(quán)限管理和控制、密碼控制等多種安全和保密措施。為保證信息的安全性，對內(nèi)部網(wǎng)上的信息建立符合安全要求的防火墻、入侵檢測、數(shù)字證書、防病毒、數(shù)據(jù)加密技術(shù)等，能夠嚴格有效地防止外來非法用戶入侵，能夠避免遭受網(wǎng)絡攻擊，防止失密情況的發(fā)生，防止非法侵入帶來的損失。
可擴展性
應用開發(fā)平臺采用模塊化建設和擴展模式。支持小規(guī)模起步，線性擴展，以滿足不同場景，不同投資計劃和規(guī)模的要求；隨著數(shù)據(jù)規(guī)模的擴大、應用的完善，現(xiàn)在數(shù)據(jù)平臺能夠在不影響當前用戶正常使用的情況下，靈活、方便地進行集群擴容。
開放性
云計算平臺是在成熟落地的方案上完全自主研發(fā)，主要應用開源技術(shù)。
分布式關(guān)鍵技術(shù)
微服務
將系統(tǒng)功能劃分為最小服務單元，完成單一功能，每個服務獨立部署，服務間通過互相調(diào)用形成完整業(yè)務邏輯。主要特點：
-高內(nèi)聚、低耦合
-開閉原則
-高效率
-彈性計算
分布式事務
通過消息機制和分布式鎖實現(xiàn)分布式事務，在微服務架構(gòu)中保證業(yè)務邏輯的完整性。主要特點：
-消息隊列
- 原子操作
- 回滾機制
跨機器調(diào)用
將任務分配在更多的節(jié)點上去運行，跨機器的調(diào)用取代原來單個節(jié)點內(nèi)、進程內(nèi)的調(diào)用。主要特點：
- 多節(jié)點化
- 同步+異步
伸縮與容錯
橫向擴展代替縱向擴展，使得伸縮性變得更好，整體容錯性大大提升。主要特點：
- 一致性哈希
- 多副本
平臺關(guān)鍵組件
企業(yè)服務總線
采用Dubbo+Zookeeper技術(shù)作為企業(yè)服務總線，對所有微服務進行管理，服務總線具有以下特點：
- 自動發(fā)現(xiàn)和注冊服務，即插即用。
- 可為微服務提供負載均衡策略，需要其他負載均衡軟件。
- 統(tǒng)計與監(jiān)控服務調(diào)用情況并記錄響應時間。為程序調(diào)優(yōu)及擴展提供統(tǒng)計數(shù)據(jù)。
消息隊列
平臺的消息隊列采用Kafka技術(shù)，Kafka是高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費者規(guī)模的網(wǎng)站中的所有動作流數(shù)據(jù)。主要用于：
- 服務之間的消息通訊，實現(xiàn)完整的業(yè)務邏輯。
- 提供大并發(fā)業(yè)務的隊列服務，避免大并發(fā)下服務崩潰問題。
分布式文件系統(tǒng)
平臺采用HDFS和FastDFS的分布式文件系統(tǒng)。
HDFS主要解決超大文件的存儲（如日志文件、視頻文件等）及HBase等大數(shù)據(jù)存儲。主要分為NameNode和DataNode，NameNode存儲文件的META信息，DataNode存儲數(shù)據(jù)塊?？蛻舳苏{(diào)用時從Name節(jié)點讀取到文件的多個數(shù)據(jù)塊信息，從多臺服務器上獲取后合并為一個文件。FastDFS是輕量級的分布式文件解決方案，主要解決存儲海量小文件，如上傳圖片、上傳文件、資源文件等等海量的小文件，這些文件不適合HDFS存儲，所以采用FastDFS存儲。
云服務器IAAS
平臺采用OpenStack系列技術(shù)，支持Xen/KVM/Hyper-V/ESX等虛擬化技術(shù)。為分布式和大數(shù)據(jù)提供彈性計算服務。
大家可以加我的Java架構(gòu)群：671017482，里面有Java大型互聯(lián)網(wǎng)熱門技術(shù)的視頻免費分享給大家。
