yarn模式運行spark作業(yè)所有屬性詳解
| 屬性名稱 | 默認(rèn)值 | 含義 |
|---|---|---|
| spark.yarn.am.memory | 512m | client模式下，YARN Application Master使用的內(nèi)存總量 |
| spark.yarn.am.cores | 1 | client模式下，Application Master使用的cpu數(shù)量 |
| spark.driver.cores | 1 | cluster模式下，driver使用的cpu core數(shù)量，driver與Application Master運行在一個進(jìn)程中，所以也控制了Application Master的cpu數(shù)量 |
| spark.yarn.am.waitTime | 100s | cluster模式下，Application Master要等待SparkContext初始化的時長; client模式下，application master等待driver來連接它的時長 |
| spark.yarn.submit.file.replication | hdfs副本數(shù) | 作業(yè)寫到hdfs上的文件的副本數(shù)量，比如工程jar，依賴jar，配置文件等，最小一定是1 |
| spark.yarn.preserve.staging.files | false | 如果設(shè)置為true，那么在作業(yè)運行完之后，會避免工程jar等文件被刪除掉 |
| spark.yarn.scheduler.heartbeat.interval-ms | 3000 | application master向resourcemanager發(fā)送心跳的間隔，單位ms |
| spark.yarn.scheduler.initial-allocation.interval | 200ms | application master在有pending住的container分配需求時，立即向resourcemanager發(fā)送心跳的間隔 |
| spark.yarn.max.executor.failures | executor數(shù)量*2，最小3 | 整個作業(yè)判定為失敗之前，executor最大的失敗次數(shù) |
| spark.yarn.historyServer.address | 無 | spark history server的地址 |
| spark.yarn.dist.archives | 無 | 每個executor都要獲取并放入工作目錄的archive |
| spark.yarn.dist.files | 無 | 每個executor都要放入的工作目錄的文件 |
| spark.executor.instances | 2 | 默認(rèn)的executor數(shù)量 |
| spark.yarn.executor.memoryOverhead | executor內(nèi)存10% | 每個executor的堆外內(nèi)存大小，用來存放諸如常量字符串等東西 |
| spark.yarn.driver.memoryOverhead | driver內(nèi)存7% | 同上 |
| spark.yarn.am.memoryOverhead | AM內(nèi)存7% | 同上 |
| spark.yarn.am.port | 隨機 | application master端口 |
| spark.yarn.jar | 無 | spark jar文件的位置 |
| spark.yarn.access.namenodes | 無 | spark作業(yè)能訪問的hdfs namenode地址 |
| spark.yarn.containerLauncherMaxThreads | 25 | application master能用來啟動executor container的最大線程數(shù)量 |
| spark.yarn.am.extraJavaOptions | 無 | application master的jvm參數(shù) |
| spark.yarn.am.extraLibraryPath | 無 | application master的額外庫路徑 |
| spark.yarn.maxAppAttempts | / | 提交spark作業(yè)最大的嘗試次數(shù) |
| spark.yarn.submit.waitAppCompletion | true | cluster模式下，client是否等到作業(yè)運行完再退出 |
