Sqoop 簡介

一、Sqoop(SQL to Hadoop)簡介

???????Sqoop是Hadoop和關(guān)系數(shù)據(jù)庫服務(wù)器之間傳送數(shù)據(jù)的一種工具。它是用來從關(guān)系數(shù)據(jù)庫如:MySQL,Oracle到Hadoop的HDFS,并從Hadoop的文件系統(tǒng)導(dǎo)出數(shù)據(jù)到關(guān)系數(shù)據(jù)庫。

二、Sqoop是怎么樣工作的?

下圖描述了Sqoop的工作流程:


sqoop工作流程.jpg
三、Sqoop導(dǎo)入

???????導(dǎo)入工具從RDBMS到HDFS導(dǎo)入單個表。表中的每一行被視為HDFS的記錄。所有記錄被存儲在文本文件的文本數(shù)據(jù)或者在Avro和序列文件的二進(jìn)制數(shù)據(jù)。

四、Sqoop導(dǎo)出

???????導(dǎo)出工具從HDFS導(dǎo)出一組文件到一個RDBMS。作為輸入到Sqoop文件包含記錄,這被稱為在表中的行。那些被讀取并解析成一組記錄和分隔使用用戶指定的分隔符。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 關(guān)于Mongodb的全面總結(jié) MongoDB的內(nèi)部構(gòu)造《MongoDB The Definitive Guide》...
    中v中閱讀 32,286評論 2 89
  • 1/列出mysql數(shù)據(jù)庫中的所有數(shù)據(jù)庫sqoop list-databases -connect jdbc:mys...
    時待吾閱讀 2,819評論 1 5
  • 1.大數(shù)據(jù)協(xié)作框架: 大數(shù)據(jù)協(xié)作框架是Hadoop 2.x生態(tài)系統(tǒng)中幾個輔助框架。最為常見的是以下幾個: 數(shù)據(jù)轉(zhuǎn)換...
    奉先閱讀 3,198評論 0 2
  • Apache Sqoop is a tool designed for efficiently transferr...
    白面葫蘆娃92閱讀 1,526評論 0 0
  • 2017年旅行記錄繼續(xù)! 1、人多! 春節(jié)來南方旅游的人真多!“爸爸去哪兒”讓全國人知道了這個地方! 2、動物 三...
    易查理閱讀 338評論 0 0

友情鏈接更多精彩內(nèi)容