分布式日志收集框架Flume 1.業(yè)務(wù)現(xiàn)狀分析 WebServer/ApplicationServer分散在各個(gè)機(jī)器上 想在大數(shù)據(jù)平臺(tái)Hadoo...
投稿
收錄了7篇文章 · 6人關(guān)注
-
Spark Streaming實(shí)時(shí)流處理-4.分布式日志收集框架Flume -
Spark Streaming實(shí)時(shí)流處理-3.分布式消息隊(duì)列Kafka
0. 目錄 Kafka概述 Kafka架構(gòu)及核心概念 Kafka部署及使用 Kafka容錯(cuò)性測(cè)試 Kafka API編程 Kafka實(shí)戰(zhàn) 1. ...
-
Spark Streaming實(shí)時(shí)流處理-2. Spark實(shí)戰(zhàn)環(huán)境搭建
0. 目錄 Spark源碼編譯 Spark環(huán)境搭建 Spark簡(jiǎn)單使用 1. Spark源碼編譯 http://spark.apache.org...
-
Spark Streaming實(shí)時(shí)流處理-1.初識(shí)實(shí)時(shí)流處理目錄 業(yè)務(wù)現(xiàn)狀分析 實(shí)時(shí)流處理產(chǎn)生背景 實(shí)時(shí)流處理概述 離線計(jì)算與實(shí)時(shí)計(jì)算對(duì)比 實(shí)時(shí)流處理框架對(duì)比 實(shí)時(shí)流處理架構(gòu)與技術(shù)選型 實(shí)時(shí)流處理在企業(yè)中...
-
資源調(diào)度框架YARN1. YARN產(chǎn)生背景 Hadoop1.x時(shí)：MapReduce1.x存在問(wèn)題：?jiǎn)吸c(diǎn)故障&節(jié)點(diǎn)壓力大不易擴(kuò)展&不能支持除了MR以外的任務(wù)MapR...
-
分布式文件系統(tǒng)HDFS0. 普通分布式文件系統(tǒng)設(shè)計(jì)思路 文件以多副本的方式，整個(gè)文件存放到單機(jī)中。 缺點(diǎn):文件不管有多大都存儲(chǔ)在一個(gè)節(jié)點(diǎn)上，在進(jìn)行數(shù)據(jù)處理的時(shí)候很難進(jìn)...
-
Hadoop 概述1. hadoop是什么？ Apache開(kāi)源軟件 計(jì)算框架--》分布式、可靠、可伸縮（任何節(jié)點(diǎn)刪除添加不會(huì)影響） 搜索引擎、海量數(shù)據(jù)存儲(chǔ) 2. ...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1653772/7536c73f66064ca18c7fe7d0f42c33eb_tplv-3rqcfx17w1-png.png', '推薦專題《獨(dú)立開(kāi)發(fā)者小記》（ 分享自 @簡(jiǎn)書(shū) ）','http://www.itdecent.cn/c/7b115a24a06b?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁(yè)面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}