Spark - SQL查詢文件數(shù)據(jù)

有時候有沒有這么一種情況，我拿到了一個sql,csv,parquet文件，一起來就想寫sql，不想寫那些亂七八糟的的東西，只是想快速實(shí)現(xiàn)我要的聚合查詢數(shù)據(jù)。那么我們可以利用spark-sql直接操作文件的特性處理這類的需求，姐姐再也不用擔(dān)心我不會spark了，因?yàn)槲揖椭粫ql。

使用方法

csv

spark.sql("select * from csv.`/tmp/demo.csv`").show(false)

json

spark.sql("select * from json.`/tmp/demo.json`").show(false)

parquet

spark.sql("select * from parquet.`/tmp/demo.parquet`").show(false)
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容