一、背景 本文簡單記錄一下,在 mac arm 架構(gòu)下使用 Vmware Fusion 虛擬機(jī)下 Centos7 下如何配置 靜態(tài)ip 地址。如果使用 dhcp 靜態(tài) ip ...
一、背景 本文簡單記錄一下,在 mac arm 架構(gòu)下使用 Vmware Fusion 虛擬機(jī)下 Centos7 下如何配置 靜態(tài)ip 地址。如果使用 dhcp 靜態(tài) ip ...
一、生成 ssh 二、鏈接gitlab 將public key粘貼到gitlab下圖位置,并保存 三、鏈接github 將public key粘貼到github下圖位置,并保...
1、 說明 linux與mac ox系統(tǒng),shell類型默認(rèn)都是bash, 在使用時候預(yù)發(fā)提示,頁面美觀等都不夠強(qiáng)大,后來誕生了zsh,但zsh配置復(fù)雜,就有人在zsh基礎(chǔ)開...
1 Hive on Spark配置 (1)兼容性說明 注意:官網(wǎng)下載的Hive3.1.2和Spark3.0.0默認(rèn)是不兼容的。因為Hive3.1.2支持的Spark版本是2....
第1章 HBase快速入門 1.1 HBase安裝部署 1.1.1 Zookeeper正常部署 首先保證Zookeeper集群的正常部署,并啟動之: 1.1.2 Hadoop...
1 集群角色 2 Flink集群搭建 2.1 集群啟動 0)集群規(guī)劃 節(jié)點服務(wù)器hadoop101hadoop102hadoop103角色JobManagerTaskMana...
第1章 DolphinScheduler簡介 1.1 DolphinScheduler概述 Apache DolphinScheduler是一個分布式、易擴(kuò)展的可視化DAG工...
1 Hive安裝部署 1)把a(bǔ)pache-hive-3.1.2-bin.tar.gz上傳到linux的/opt/software目錄下2)解壓apache-hive-3.1....
1 數(shù)據(jù)通道 2 Maxwell配置默認(rèn)情況下,Maxwell會同步binlog中的所有表的數(shù)據(jù)變更記錄,按照規(guī)劃,有cart_info、order_info等共計11張表需...
1. 數(shù)據(jù)通道 全量表數(shù)據(jù)由DataX從MySQL業(yè)務(wù)數(shù)據(jù)庫直接同步到HDFS,具體數(shù)據(jù)流向如下圖所示。 2 DataX配置文件我們需要為每張全量表編寫一個DataX的jso...
第1章 Maxwell簡介 1.1 Maxwell概述 Maxwell 是由美國Zendesk公司開源,用Java編寫的MySQL變更數(shù)據(jù)抓取軟件。它會實時監(jiān)控Mysql數(shù)據(jù)...
第1章 DataX簡介 1.1 DataX概述 DataX 是阿里巴巴開源的一個異構(gòu)數(shù)據(jù)源離線同步工具,致力于實現(xiàn)包括關(guān)系型數(shù)據(jù)庫(MySQL、Oracle等)、HDFS、H...
集群規(guī)劃服務(wù)器hadoop102服務(wù)器hadoop103服務(wù)器hadoop104Flume(消費(fèi)Kafka)Flume 1 項目經(jīng)驗之Flume組件選型 1)FileChan...
1.日志采集Flume安裝 詳情見:http://www.itdecent.cn/p/a2590b997e8e?v=1698800791912[https://www.ji...
1.Flume安裝部署 (1) Flume官網(wǎng)地址:http://flume.apache.org/[http://flume.apache.org/](2)文檔查看地址:h...
1.集群規(guī)劃 hadoop101hadoop102hadoop103zkzkzkkafkakafkakafka 2.集群部署 0)官方下載地址: http://kafka.a...
1.集群規(guī)劃 在hadoop101、hadoop102和hadoop103三個節(jié)點上部署Zookeeper。 服務(wù)器 hadoop101服務(wù)器 hadoop102服務(wù)器 ha...
一、Hadoop部署 集群部署規(guī)劃 注意:NameNode和SecondaryNameNode不要安裝在同一臺服務(wù)器 注意:ResourceManager也很消耗內(nèi)存,不要和...
一、卸載現(xiàn)有JDK rpm -qa:表示查詢所有已經(jīng)安裝的軟件包 grep -i:表示過濾時不區(qū)分大小寫 xargs -n1:表示一次獲取上次執(zhí)行結(jié)果的一個值 rpm -e ...
一、 虛擬機(jī)環(huán)境準(zhǔn)備 1)準(zhǔn)備三臺虛擬機(jī),虛擬機(jī)配置要求如下: (1)單臺虛擬機(jī):內(nèi)存 4G,硬盤 50G (2)修改克隆虛擬機(jī)的靜態(tài) IP 改成 (3)查看 Linux ...