Spark - SQL查詢文件數(shù)據(jù)

> 有時(shí)候有沒有這么一種情況,我拿到了一個(gè)sql,csv,parquet文件,一起來就想寫sql,不想寫那些亂七八糟的的東西,只是想快速實(shí)現(xiàn)我要的聚合查詢數(shù)據(jù)。那么我們可以利用spark-sql直接操作文件的特性處理這類的需求,姐姐再也不用擔(dān)心我不會(huì)spark了,因?yàn)槲揖椭粫?huì)sql。

## 使用方法

csv

```

spark.sql("select * from csv.`/tmp/demo.csv`").show(false)

```

json

```

spark.sql("select * from json.`/tmp/demo.json`").show(false)

```

parquet

```

spark.sql("select * from parquet.`/tmp/demo.parquet`").show(false)

```

![](https://upload-images.jianshu.io/upload_images/9028759-054b37583ddfab28.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

---

![](https://upload-images.jianshu.io/upload_images/9028759-07315bb8dadcd082.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容