發(fā)簡(jiǎn)信
IP屬地：浙江
-
-
Spark執(zhí)行錯(cuò)誤--> Task分配了但是一直不執(zhí)行
一、問(wèn)題現(xiàn)象 1，同樣一個(gè)執(zhí)行語(yǔ)句在Spark-shell中就可以執(zhí)行，但是在Spark-submit中執(zhí)行時(shí)等待了很長(zhǎng)時(shí)間但是Task一直沒有執(zhí)行 2，通過(guò)Spark-su...
-
kafka可視化客戶端工具（Kafka Tool）的使用一、下載 下載地址：http://www.kafkatool.com/download.html 我們的kafka版本是2.11（kafka_2.11-2.0.0-cdh6....
-
-
CentOS7安裝MySQL8.0??在CentOS7安裝MySQL8.0的時(shí)候碰見很多問(wèn)題，查找網(wǎng)上很多博客或者教程都沒能解決，在幾經(jīng)卸載重裝后終于完成了安裝。下面附上教程。 安裝前準(zhǔn)備 在安裝MySQL之...
-
kettle安裝使用教程Kettle是一款國(guó)外開源的ETL工具，純java編寫，可以在Windows、Linux、Unix上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。Kettle 中文名稱叫水壺，該項(xiàng)目的主程序員M...
-
基于 CDH6.1 的 Kafka 安裝過(guò)程1．基于 CDH 版本選擇安裝 （1）登錄 CM 控制臺(tái)，選擇“添加服務(wù)” （2）選擇需要安裝的 Kafka 組件 點(diǎn)擊“繼續(xù)”進(jìn)入： （3）創(chuàng)建 KafkaBroker 節(jié)...
-
Python虛擬環(huán)境工具Conda
一、簡(jiǎn)介 Conda是目前為止，最流行的Python軟件包與管理環(huán)境。Conda分為miniconda與anaconda兩種。前者從名字上就能猜出是精簡(jiǎn)版，后者預(yù)裝了很多常用...
-
DataX3.0版本說(shuō)明文檔一、DataX3.0概述 DataX 是一個(gè)異構(gòu)數(shù)據(jù)源離線同步工具，致力于實(shí)現(xiàn)包括關(guān)系型數(shù)據(jù)庫(kù)(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP...
-
Sqlflow一、簡(jiǎn)介 最近，螞蟻正式了開源其機(jī)器學(xué)習(xí)工具SQLFlow。SQLFlow=SQL引擎+AI引擎。其抽象出端到端從數(shù)據(jù)到模型的研發(fā)過(guò)程，配合底層的引擎及自動(dòng)優(yōu)化，讓具備基礎(chǔ)S...
-
Linux系統(tǒng)下Python如何連接oracle首先 我們需要下載一個(gè)linux版本的oracle客戶端推薦在官網(wǎng)上下載。 這里推薦使用的是instant12版本，目前來(lái)說(shuō)算得上是最穩(wěn)定的一個(gè)版本。 之后我們需要在linu...
-
由磁盤空間不足引起的大數(shù)據(jù)集群服務(wù)異常問(wèn)題處理方法由于每家公司預(yù)算問(wèn)題，經(jīng)常會(huì)出現(xiàn)服務(wù)器磁盤空間不足問(wèn)題導(dǎo)致大數(shù)據(jù)集群服務(wù)出現(xiàn)異常，下面介紹下解決方法。 一、問(wèn)題現(xiàn)象 (1)在項(xiàng)目接口端，提示接口調(diào)用超時(shí)異常 (2)在移動(dòng)機(jī)...
-
CDH集群間的數(shù)據(jù)遷移方案
目前不同公司多多少少存在Hive數(shù)據(jù)庫(kù)在不同集群間的數(shù)據(jù)遷移需求，我們只要在CDH新版本集群搭建完成之后，即可進(jìn)行數(shù)據(jù)遷移工作，如下描述hive及HDFS數(shù)據(jù)的遷移。 一、...
-
專注人工智能算法和大數(shù)據(jù)相關(guān)技術(shù)
-
大數(shù)據(jù)技術(shù)思維導(dǎo)圖大數(shù)據(jù)技術(shù)學(xué)習(xí)進(jìn)階路線 隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，大數(shù)據(jù)的技術(shù)體系已經(jīng)趨于成熟，由于大數(shù)據(jù)技術(shù)體系比較龐大，所以在學(xué)習(xí)大數(shù)據(jù)的時(shí)候首先應(yīng)該根據(jù)自身的知識(shí)結(jié)構(gòu)，找到一個(gè)適合的切...
-
Docker的一些常用命令
1、鏡像命令： docker images 列出所有鏡像 docker build 構(gòu)建鏡像 docker rmi 刪除鏡像 docker sea...
-
在 Centos7.5 上安裝 Python3.7（完美）
安裝 GCC 下載 Python3.7壓縮包并解壓 安裝 Python3.7, 刪除壓縮包 安裝時(shí)報(bào)錯(cuò)ModuleNotFoundError: No module named...
