sqoop數(shù)據(jù)導(dǎo)入hive 遇到的問(wèn)題

1.org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist

問(wèn)題分析:The auxService:mapreduce_shuffle does not exist;yarn-site.xml配置文件有問(wèn)題

解決方法:

1)vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

<property>

? ? <name>yarn.nodemanager.aux-services</name>

? ? <value>mapreduce_shuffle</value>

? </property>

? <property>

? ? <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>

? ? <value>org.apache.hadoop.mapred.ShuffleHandler</value>

? </property>

2)重新啟動(dòng)yarn:

/usr/local/hadoop/sbin/stop-yarn.sh??

/usr/local/hadoop/sbin/start-yarn.sh??

2.ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://192.168.15.115:9000/hive/root already exists

解決方法: hadoop fs -rm -r /hive/root

3.ERROR exec.DDLTask: java.lang.NoSuchMethodError: com.fasterxml.jackson.databind.ObjectMapper.readerFor(Ljava/lang/Class;)Lcom/fasterxml/jackson/databind/ObjectReader;

造成的原因:sqoop與hive使用的jackson包的版本沖突導(dǎo)致

解決方法:將sqoop的lib目錄下jackson*.jar包備份,hive的lib目錄下的jackson相關(guān)jar包拷貝到sqoop的lib目錄下

4.?ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.

解決方法:

1)/etc/profile最后加入?export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*

然后刷新配置,source /etc/profile

2)復(fù)制hive庫(kù)文件中hive-exec*到sqoop的庫(kù)文件中

5. ERROR Could not register mbeans java.security.AccessControlException: access denied ("javax.management.MBeanTrustPermission" "register")

解決方法:

vim /usr/local/java/jre/lib/security/java.policy

新增語(yǔ)句:

grant {

// JMX Java Management eXtensions

permission javax.management.MBeanTrustPermission "register";

};

6.創(chuàng)建job的時(shí)候報(bào)錯(cuò):

Exception in thread "main" java.lang.NoClassDefFoundError: org/json/JSONObject

造成的原因:這是因?yàn)閟qoop缺少java-json.jar包.

解決方法:

java-json.jar下載地址:http://www.java2s.com/Code/Jar/j/Downloadjavajsonjar.htm
將java-json.jar放到/usr/local/sqoop/lib

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 說(shuō)明:不少讀者反饋,想使用開(kāi)源組件搭建Hadoop平臺(tái),然后再部署Kylin,但是遇到各種問(wèn)題。這里我為讀者部署一...
    大詩(shī)兄_zl閱讀 2,180評(píng)論 0 2
  • 前言: Hadoop的課程已經(jīng)告一段落,基本上在零基礎(chǔ)課程里不會(huì)再出現(xiàn)了,接下來(lái)的課程由若總來(lái)上,第一講Have。...
    ly稻草閱讀 4,327評(píng)論 1 9
  • [root@hh hadoop]# hdfs namenode -format 17/12/12 17:42:06...
    好了傷疤忘了閱讀 1,470評(píng)論 0 51
  • 昨晚寫(xiě)作老師-弘丹老師的分享干貨非常多,但印象最深的是這個(gè)詞——觸發(fā) 讀書(shū)貴有新得,作文貴有新味,最重要的是觸發(fā)的...
    龔少90990閱讀 349評(píng)論 1 7
  • 《家書(shū)》 蘇雪鳳2017-6-23 在去學(xué)習(xí)之前,雖然我也在我的家人我的領(lǐng)導(dǎo)們身上看到了《六項(xiàng)精進(jìn)》帶來(lái)的巨大變化...
    蘇雪鳳閱讀 1,312評(píng)論 0 1

友情鏈接更多精彩內(nèi)容