Spark - SQL查詢文件數據

> 有時候有沒有這么一種情況,我拿到了一個sql,csv,parquet文件,一起來就想寫sql,不想寫那些亂七八糟的的東西,只是想快速實現(xiàn)我要的聚合查詢數據。那么我們可以利用spark-sql直接操作文件的特性處理這類的需求,姐姐再也不用擔心我不會spark了,因為我就只會sql。

## 使用方法

csv

```

spark.sql("select * from csv.`/tmp/demo.csv`").show(false)

```

json

```

spark.sql("select * from json.`/tmp/demo.json`").show(false)

```

parquet

```

spark.sql("select * from parquet.`/tmp/demo.parquet`").show(false)

```

![](https://upload-images.jianshu.io/upload_images/9028759-054b37583ddfab28.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

---

![](https://upload-images.jianshu.io/upload_images/9028759-07315bb8dadcd082.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內容

  • > 有時候有沒有這么一種情況,我拿到了一個sql,csv,parquet文件,一起來就想寫sql,不想寫那些亂七八...
    kikiki4閱讀 147評論 0 1
  • > 有時候有沒有這么一種情況,我拿到了一個sql,csv,parquet文件,一起來就想寫sql,不想寫那些亂七八...
    kikiki4閱讀 100評論 0 2
  • > 有時候有沒有這么一種情況,我拿到了一個sql,csv,parquet文件,一起來就想寫sql,不想寫那些亂七八...
    kikiki4閱讀 97評論 0 4
  • > 有時候有沒有這么一種情況,我拿到了一個sql,csv,parquet文件,一起來就想寫sql,不想寫那些亂七八...
    kikiki4閱讀 101評論 0 2
  • > 有時候有沒有這么一種情況,我拿到了一個sql,csv,parquet文件,一起來就想寫sql,不想寫那些亂七八...
    kikiki4閱讀 114評論 0 1

友情鏈接更多精彩內容