pyspark 寫入hive表的方式

一：API

? ? saveAsTable 會(huì)根據(jù)表的schema匹配df的字段進(jìn)行存儲(chǔ)

? ? insertInto，要求表的schema與df必須一致才可以

? ? 對(duì)于Hive分區(qū)表的寫入，insertInto要待參數(shù)覆蓋為True，這樣每次會(huì)覆蓋分區(qū)。注意不要使用saveAsTable！，會(huì)將全表覆蓋，

? ? 正確語句，具體變化參考pyspark版本：

? ? df.write.format("hive").insertInto("dev.dev_rep_rebate_bjcouple_partion_orc",True)

二：sql方式

? ? 將df創(chuàng)建為臨時(shí)表，再使用spark.sql 里傳hive語句insert select。。。。。。。。。

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容