大數(shù)據(jù)產(chǎn)業(yè)鏈
大數(shù)據(jù)產(chǎn)業(yè)是指一切與支撐大數(shù)據(jù)組織管理和價值發(fā)現(xiàn)相關(guān)的企業(yè)經(jīng)濟活動的集合。
1.IT基礎(chǔ)設(shè)施層
包括提供硬件、軟件、網(wǎng)絡(luò)等基礎(chǔ)設(shè)施以及提供咨詢、規(guī)劃和系統(tǒng)集成服務(wù)的企業(yè)，比如，提供數(shù)據(jù)中心解決方案的IBM、惠普、戴爾，提供存儲解決方案的EMC，提供虛擬化管理軟件的微軟、思杰、SUN、Redhat
2.數(shù)據(jù)源層
大數(shù)據(jù)生態(tài)圈中的數(shù)據(jù)提供者，生物、交通、醫(yī)療、正午、電商、社交網(wǎng)絡(luò)、搜索引擎等。
3.數(shù)據(jù)管理層
包括數(shù)據(jù)的抽取、轉(zhuǎn)換、存儲和管理等服務(wù)的各類企業(yè)或產(chǎn)品，如分布式文件系統(tǒng)(Hadoop的HDFS，谷歌的GFS)、ETL工具(Informatica, Datastage、Kettle等)數(shù)據(jù)庫和數(shù)據(jù)倉庫(Oracle、mysql、sql server、HBase、GreenPlum)
4.數(shù)據(jù)分析層
包括提供分布式計算，數(shù)據(jù)挖掘、統(tǒng)計分析等服務(wù)的各類企業(yè)或產(chǎn)品，如分布式框架MapReduce、統(tǒng)計分析軟件SPSS、SAS，數(shù)據(jù)挖掘工具Weka，數(shù)據(jù)可視化工具Tableau、BI工具(MicroStrategy、Cognos、BO)等。
5.數(shù)據(jù)平臺層
包括提供數(shù)據(jù)分享平臺、數(shù)據(jù)分析平臺、數(shù)據(jù)租售平臺等服務(wù)的企業(yè)或產(chǎn)品，如阿里、谷歌、電信、百度。
6.數(shù)據(jù)應(yīng)用層
提供智能交通、智慧醫(yī)療、智能物流、智能電網(wǎng)等行業(yè)應(yīng)用的企業(yè)、機構(gòu)或政府部門。比如交通主管部門、各大醫(yī)療機構(gòu)、菜鳥網(wǎng)絡(luò)、國家電網(wǎng)等。
云計算
云計算實現(xiàn)了通過網(wǎng)絡(luò)提供可伸縮的，廉價的分布式計算能力，用戶只需要在具備網(wǎng)絡(luò)接入條件的地方，就可以隨時隨地獲得所需的各種IT資源。云計算代表了以虛擬化技術(shù)為核心、以低成本為目標(biāo)的、動態(tài)可擴展的網(wǎng)絡(luò)應(yīng)用基礎(chǔ)設(shè)施，是近年來最優(yōu)代表性的網(wǎng)絡(luò)計算技術(shù)與模式。
云計算包含了3種典型的服務(wù)模式：
- IaaS：基礎(chǔ)設(shè)施即服務(wù)，將基礎(chǔ)設(shè)施(計算資源和存儲)作為服務(wù)出租。
- PaaS：平臺即服務(wù)，將平臺作為服務(wù)出租。
- SaaS：軟件即服務(wù)，把軟件作為服務(wù)出租。
云計算包括公有云、私有云、混合云三種類型。
公有云面向所有用戶提供服務(wù)，只要是注冊付費的用戶都可以使用。比如Amazon AWS。
私有云只為特定用戶提供服務(wù)，比如大型企業(yè)處于安全考慮率自建的云環(huán)境，只為企業(yè)內(nèi)部提供服務(wù)。
混合云綜合公有云和私有云的特點，因為對于一些企業(yè)而言，即希望獲得公有云的計算資源，又想把數(shù)據(jù)存入私有云中，為了獲得最佳的效果，就可以把公有云和私有云進(jìn)行混合搭配使用。
OpenStack，是一種非常流行的構(gòu)建云環(huán)境的開源軟件。OpenStack管理的資源不是單機的而是一個分步的系統(tǒng)，它把分步的計算、存儲、挖網(wǎng)絡(luò)、設(shè)備、資源組織起來，形成一個完整的云計算系統(tǒng)，幫助服務(wù)商和企業(yè)內(nèi)部實現(xiàn)類似于Amazon EC2和S3的云基礎(chǔ)架構(gòu)服務(wù)。
云計算關(guān)鍵技術(shù)
云計算的關(guān)鍵技術(shù)包括虛擬化、分布式存儲、分布式計算、多租戶等。
1.虛擬化
虛擬化技術(shù)是云計算的基石，是指將一臺計算機虛擬為多臺邏輯計算機，在一臺計算機上同時運行多個邏輯計算機，每個邏輯計算機可運行不同的操作系統(tǒng)，并且應(yīng)用程序都可以在相互獨立的控件內(nèi)運行而互不影響，從而顯著提高計算機的工作效率。虛擬化的資源可以是硬件，也可以是軟件。以服務(wù)器虛擬化為例，它將服務(wù)器物理資源抽象成邏輯資源，讓一臺服務(wù)器編程幾臺甚至上擺臺相互隔離的虛擬服務(wù)器，不再受限于物理上的界限，而是讓CPU、內(nèi)存、磁盤、I/O等硬件變成可以動態(tài)管理的“資源池”，從而提高資源的利用率，簡化系統(tǒng)管理，實現(xiàn)服務(wù)器整合，讓IT對業(yè)務(wù)的變化更具適應(yīng)力。
典型的虛擬化技術(shù)有，Hyper-V、VMware、KVM、VirtualBox、Xen、Qemu。
2.分布式存儲
面對“數(shù)據(jù)爆炸”的時代，集中式存儲已經(jīng)無法滿足海量數(shù)據(jù)的存儲需求，分布式存儲應(yīng)運而生。
GFS是谷歌退出的一款分布式文件系統(tǒng)，滿意滿足大型、分布式、對大量數(shù)據(jù)進(jìn)行訪問的應(yīng)用的需求。并具有很好的容錯性，可以把數(shù)據(jù)存儲到成百上千臺服務(wù)器上面，并在硬件出錯的情況下盡量保證數(shù)據(jù)的完整性。支持GB或者TB的大文件存儲，一個大文件會被分割成許多塊，分散存儲在由數(shù)百臺機器組成的集群中。
HDFS(Hadoop Distributed File System)是對GFS的開源實現(xiàn)，基于Java實現(xiàn)，只要JDK支持的平臺都可以兼容。
谷歌后來又以GFS為基礎(chǔ)開發(fā)了分布式數(shù)據(jù)管理系統(tǒng)BigTable，它是稀疏、分布、持續(xù)多維度的排序映射數(shù)組，適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫，具有高可靠性、高性能、可伸縮等特點，可在廉價PC服務(wù)器上搭建起大規(guī)模存儲集群。
HBase是針對BigTable的開源實現(xiàn)。
3.分布式計算
面對海量的數(shù)據(jù)，傳統(tǒng)的單指令但數(shù)據(jù)流順序執(zhí)行的方式已經(jīng)無法滿足快速數(shù)據(jù)處理的請求。同時，我們也不能寄希望于通過硬件性能的不斷提升來滿足這種需求，因為晶體管電路已經(jīng)逐漸接近其物理上的性能極限，摩爾定律已經(jīng)開始慢慢失效，CPU處理能力再也不會每隔18月翻一番。
在這樣的大背景下，谷歌公司提出了并行編程模型MapReduce，讓任何人都可以在短時間內(nèi)迅速獲得海量計算能力，它允許開發(fā)者在不具備并行編程開發(fā)經(jīng)驗的前提下，也能夠開發(fā)出分布式的并行程序，讓其同時運行在數(shù)百臺機器上，在短時間內(nèi)完成海量數(shù)據(jù)的計算。
MapReduce將復(fù)雜的、運行于大規(guī)模集群上的并行計算過程抽象成兩個函數(shù)——Map和Reduce。并把一個大數(shù)據(jù)集切分成多個小的數(shù)據(jù)集，分不到不同的機器上進(jìn)行并行處理，極大提高了數(shù)據(jù)處理速度。Hadoop開源實現(xiàn)了MapReduce編程框架，被廣泛應(yīng)用于分布式計算。
4.多租戶
多租戶技術(shù)目的在于使大量胡勇能夠共享同一堆棧的軟硬件資源，每個用戶按需使用資源，能夠?qū)浖?wù)進(jìn)行客戶化配置，而不影響其他用戶的使用。多租戶技術(shù)的核心包括數(shù)據(jù)隔離、客戶化配置、架構(gòu)擴展和性能訂制。
物聯(lián)網(wǎng)
物聯(lián)網(wǎng)的概念
互聯(lián)網(wǎng)是物物相連的互聯(lián)網(wǎng)，是互聯(lián)網(wǎng)的延伸，它利用局域網(wǎng)絡(luò)或互聯(lián)網(wǎng)通信技術(shù)吧傳感器、控制器、機器、人員和物體等通過新的方式連在一起，形成人與物、物與物相連，實現(xiàn)信息化和遠(yuǎn)程管理控制。
物聯(lián)網(wǎng)技術(shù)架構(gòu)
物聯(lián)網(wǎng)可以分為四層：感知層、網(wǎng)絡(luò)層、處理層、應(yīng)用層。
感知層：
如果把物體比喻成一個人，那么感知層就好比人體的神經(jīng)末梢，用來感知物理世界，采集來自物理世界的各種信息。這個層包含了大量的傳感器，如溫度傳感器、濕度傳感器、應(yīng)力傳感器、加速度傳感器、重力傳感器、氣體濃度傳感器、土壤鹽分傳感器、二維碼標(biāo)簽、RFID(Radio Frequency Identification)標(biāo)簽和讀寫器、攝像頭、GPS設(shè)備等。
網(wǎng)絡(luò)層：
相當(dāng)于人體的神經(jīng)中樞，起到信息傳輸?shù)淖饔?。網(wǎng)絡(luò)層包含各種類型的網(wǎng)絡(luò)，如互聯(lián)網(wǎng)、移動通信網(wǎng)絡(luò)、衛(wèi)星通信網(wǎng)絡(luò)等。
處理層：
相當(dāng)于人體的大腦，起到才能出和處理的作用，包括數(shù)據(jù)存儲、管理和分析。
應(yīng)用層：
直接面向用戶，滿足各種應(yīng)用需求，如智能交通、智慧農(nóng)業(yè)、智慧醫(yī)療、智能工業(yè)等等。
物聯(lián)網(wǎng)關(guān)鍵技術(shù)
涉及到了：識別和感知技術(shù)、網(wǎng)絡(luò)與通信技術(shù)、數(shù)據(jù)挖掘和融合技術(shù)。
太復(fù)雜了，不做記錄了。
大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)的關(guān)系
區(qū)別
大數(shù)據(jù)側(cè)重于對海量數(shù)據(jù)的存儲、處理和分析，從海量數(shù)據(jù)中發(fā)現(xiàn)價值，服務(wù)于生產(chǎn)和生活。
云計算本質(zhì)上旨在整合和優(yōu)化各種IT資源，并通過網(wǎng)絡(luò)以服務(wù)的方式鏈家第提供給用戶。
物聯(lián)網(wǎng)的發(fā)展目標(biāo)是實現(xiàn)物物相連，應(yīng)用創(chuàng)新是物聯(lián)網(wǎng)發(fā)展的核心。
