發(fā)簡信
IP屬地：廣東
-
secondary namenode 的作用
主要作用是解決namenode edit log 過大的問題，定時將namenode的editlog 合并到fsimage
-
oozie 工作流執(zhí)行sqoop和spark本次將sqoop和spark腳本相結(jié)合組成oozie工作流，通過定時計劃任務(wù)，定期執(zhí)行。 執(zhí)行流程圖 實施步驟 創(chuàng)建工作流 選擇操作 開始創(chuàng)建s...
-
Sqoop 拉取數(shù)據(jù)流程
考慮離線數(shù)據(jù)定時從SQL Server 數(shù)據(jù)庫，批量導(dǎo)入到hive數(shù)據(jù)表。具體執(zhí)行流程如下： 根據(jù)以上執(zhí)行流程分別創(chuàng)建全量sqoop job，增...
-
基于scala的spark開發(fā)環(huán)境搭建流程開發(fā)工具 idea 項目管理工具 Maven 搭建步驟 參考鏈接： https://blog.csdn.net/u013963380/artic...
-
pycharm 連接遠(yuǎn)端spark 進行調(diào)試在使用python進行spark進行開發(fā)時，本地調(diào)試總是很麻煩的一件事。如果有辦法直接在服務(wù)器進行調(diào)試的話，那將非常方便我們的開發(fā)。那有沒有呢？...
-
Hadoop 分布式文件系統(tǒng)HDFS的設(shè)計目標(biāo) Hadoop分布式文件系統(tǒng)(HDFS)被設(shè)計成適合運行在通用硬件(commodity hardware)上的分布式文件系統(tǒng)。...
-
MySQL server has gone away 的原因分析
MySQL服務(wù)器消失的最常見原因是服務(wù)器超時并關(guān)閉了連接。在這種情況下，您通常會得到以下錯誤代碼之一（您獲得的錯誤代碼與操作系統(tǒng)相關(guān)）。 默認(rèn)情...
-
mysql int(10)字段說明
1、基礎(chǔ)知識 1.1mysql 數(shù)字類型種類和存儲范圍 MySQL支持SQL標(biāo)準(zhǔn)整數(shù)類型INTEGER（或INT）和SMALLINT。作為標(biāo)準(zhǔn)的...
-
php單元測試之simpletest
了解單元測試 單元測試是由程序員自己來完成，最終受益的也是程序員自己?？梢赃@么說，程序員有責(zé)任編寫功能代碼，同時也就有責(zé)任為自己的代碼編寫單元測...