在進(jìn)行以下操作前，以經(jīng)在虛擬機(jī)中安裝了Hadoop集群環(huán)境。 下載解壓 將spark下載解壓到虛擬機(jī)中： 修改配置文件 以下命令進(jìn)入spark配...
投稿
收錄了34篇文章 · 6人關(guān)注
-
實操 - Centos7虛擬機(jī)搭建Spark2.0.1-without Hadoop集群環(huán)境
-
實操 - Centos7虛擬機(jī)搭建Hadoop集群環(huán)境一、安裝虛擬機(jī) 點(diǎn)擊從光盤或映像中安裝，選擇創(chuàng)建虛擬機(jī)的鏡像 繼續(xù)下一步，點(diǎn)擊自定設(shè)置，修改虛擬機(jī)的名稱 打開虛擬機(jī)設(shè)置菜單打開虛擬機(jī)設(shè)置菜單....
-
Centos7虛擬機(jī)配置Linux網(wǎng)絡(luò)配置筆記一些命令:ifconfig命令：查看與配置網(wǎng)絡(luò)狀態(tài)命令ifconfig eth0 192.168.0.200 netmask 255.255.2...
-
Flink的API
Source API 以下scala代碼展示了幾種source類型： flink從kafka獲取源數(shù)據(jù) 首先pow文件需要添加如下依賴： 以下代...
-
Flink的簡單使用Scala編寫批處理和流處理wordcount 這部分，我們在idea上使用Maven編寫Scala程序?qū)崿F(xiàn)批處理wordcount功能。 po...
-
MapReduce開發(fā)筆記(使用Eclipse編寫執(zhí)行Hadoop)環(huán)境搭建 1、測試Hadoop集群環(huán)境 首先我們已經(jīng)成功部署安裝了一個hadoop集群，然后本地可以連接到集群的Master節(jié)點(diǎn)。假設(shè)集群Mas...
-
Sqoop安裝與使用
概述 Sqoop是一款開源的工具，主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(mysql、postgresql…)間進(jìn)行數(shù)據(jù)的傳遞，可以將...
-
Hive的安裝和部署
MySQL的安裝和部署 MySQL下載 hive的元數(shù)據(jù)一般存儲在MySQL中，所以我們需要先安裝一個MySQL： 如果centos報如下錯誤：...
-
數(shù)據(jù)漂移問題與解決
什么是數(shù)據(jù)漂移 通常我們把從源系統(tǒng)同步進(jìn)入數(shù)倉的第一層數(shù)據(jù)稱為 ODS或者staging層數(shù)據(jù)，接入層 。數(shù)據(jù)漂移是接入層數(shù)據(jù)的一個頑疾。 數(shù)據(jù)...
-
Kafka使用筆記(三、消費(fèi)者詳解)概念 消費(fèi)者和消費(fèi)組 kafka消費(fèi)者是消費(fèi)組的一部分，當(dāng)多個消費(fèi)者形成一個消費(fèi)組來消費(fèi)主題時，每個消費(fèi)者會接收到不同分區(qū)的消息。假設(shè)有一個T1...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1905981/WX20200820-190507_2x.png', '推薦專題《眼君的大數(shù)據(jù)之路》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/15a637ecedce?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}