spark使用addFile

addFile

addFile可以把文件分發(fā)到各個worker當中，然后worker會把文件存放在臨時目錄下。之后可以通過SparkFiles.get()獲取文件

代碼

from pyspark import SparkFiles
from pyspark.sql import SparkSession

# 創(chuàng)建SparkSession
spark = SparkSession.builder\
    .master("local")\
    .appName("cal person")\
    .getOrCreate()
# 添加文件
spark.sparkContext.addFile("./dict/load_dict.txt")
# 獲取文件
with open(SparkFiles.get("load_dict.txt"), "r") as f:
    print(f.read())
最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發(fā)布，文章內容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內容

友情鏈接更多精彩內容