sqoop的功能架構(gòu) sqoop是能夠在hdfs和關(guān)系型數(shù)據(jù)庫之間進行數(shù)據(jù)量大的數(shù)據(jù)轉(zhuǎn)換工具，底層運行的是mapreduce項目，是Apache...
投稿
收錄了17篇文章 · 4人關(guān)注
-
Sqoop的導(dǎo)入導(dǎo)出 -
HDFS詳解認識HDFS HDFS的特點： 高容錯性高吞吐量故障的檢測和自動快速恢復(fù)流式的數(shù)據(jù)訪問大數(shù)據(jù)集一次寫入,多次讀寫 HDFS不適用的場景 不支持大...
-
淘寶大數(shù)據(jù)之路2003年至今淘寶網(wǎng)從零開始飛速發(fā)展，走過了13個年頭，支撐淘寶業(yè)務(wù)野蠻式生長背后是一套不斷完善的技術(shù)平臺，淘寶大數(shù)據(jù)平臺，就是其中非常重要的一...
-
【容錯篇】Spark Streaming的還原藥水——Checkpoint一個 Streaming Application 往往需要7*24不間斷的跑，所以需要有抵御意外的能力（比如機器或者系統(tǒng)掛掉，JVM crash...
-
Hadoop實驗——Hive的安裝和實驗實驗?zāi)康?理解Hive在Hadoop體系結(jié)構(gòu)中的角色。 熟悉Hive的DDL命令與DML操作。 區(qū)分數(shù)據(jù)倉庫和數(shù)據(jù)庫的概念。 實驗平臺 操作系統(tǒng)...
-
MapReduce shuffle過程淺析整個shuffle的流程圖 Map Shuffle的作用以及相應(yīng)的設(shè)置 partition過程：輸入的<key,value>對經(jīng)過map()處理...
-
離線安裝hadoop最新發(fā)行版本hdp2.4hdp2.4是hortworks最新推出的100%開源的hadoop發(fā)行版本，其中包含了最新的spark 1.6，沖著這點，使用離線方式安裝最新...
-
hadoop筆記1--單機和偽分布式模式hadoop是處理大數(shù)據(jù)的得力幫手，它主要分為三種模式: 單機模式；偽分布式模式；完全分布式模式； 在這篇文章中，主要來看看在CentOS7中進...
-
Hadoop學(xué)習資源
聊到大數(shù)據(jù)技術(shù)，當然是少不了hadoop，這只可愛的小象。這兩年的大數(shù)據(jù)技術(shù)十分火爆，今天我就為大家整理了hadoop的學(xué)習資料。希望各位學(xué)習者...
-
Scala基礎(chǔ)語法（二）List集合 list是一個有序且可以重復(fù)的序列。 創(chuàng)建list集合 List(elem1, elem2...)這些元素可以不是同一類型 lis...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/322270/1484270844.jpg', '推薦專題《大數(shù)據(jù)》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/33e4d5cbfbf7?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認gb2312'));){kind=link}