我正在使用Flink v1.4.0。我正在使用DataSet API（盡管這不重要）。我正在12核VM上進(jìn)行一些重型轉(zhuǎn)換。我正在為一個Flink job使用2個內(nèi)核，其中我將一些數(shù)據(jù)存儲到Flink Queryable State中，并使用剩余的10個內(nèi)核運(yùn)行另一個Flink作業(yè)。當(dāng)我以10個內(nèi)核運(yùn)行第二個作業(yè)時，似乎出現(xiàn)以下錯誤：java.io.IOException: Insufficient number of network buffers: required 10, but only 9 available. The total number of network buffers is currently set to 4096 of 32768 bytes each. You can increase this number by setting the configuration keys 'taskmanager.network.memory.fraction', 'taskmanager.network.memory.min', and 'taskmanager.network.memory.max'. at org.apache.flink.runtime.io.network.buffer.NetworkBufferPool.createBufferPool(NetworkBufferPool.java:257) at org.apache.flink.runtime.io.network.NetworkEnvironment.registerTask(NetworkEnvironment.java:199) at org.apache.flink.runtime.taskmanager.Task.run(Task.java:618) at java.lang.Thread.run(Thread.java:745)

?如果我使用8核來運(yùn)行它，它就可以通過。是什么原因造成的，為什么我不能使用其他2個-> 8 + 2 = 10個內(nèi)核？最佳答案引用Apache Flink常見問題解答：??如果您以很高的并行度運(yùn)行Flink，則可能需要增加網(wǎng)絡(luò)緩沖區(qū)的數(shù)量。????默認(rèn)情況下，F(xiàn)link占用JVM堆大小的10％作為網(wǎng)絡(luò)緩沖區(qū)，最小為64MB，最大為1GB。您可以通過taskmanager.network.memory.fraction，taskmanager.network.memory.min和taskmanager.network.memory.max調(diào)整所有這些值。????有關(guān)詳細(xì)信息，請參閱《配置參考》。有一個dedicated section in the docs for how to configure the network buffers。總之，可以通過設(shè)置./conf/flink-conf.yaml參數(shù)來配置taskmanager.network.numberOfBuffers文件中的網(wǎng)絡(luò)緩沖區(qū)數(shù)。該參數(shù)應(yīng)設(shè)置為#slots-per-TM^2 * #TMs * 4，其中#slots per TM是每個TaskManager的插槽數(shù)，而#TMs是任務(wù)管理器的總數(shù)。例如，要支持一個由20個8插槽計算機(jī)組成的集群，則應(yīng)使用大約5000個網(wǎng)絡(luò)緩沖區(qū)以實(shí)現(xiàn)最佳吞吐量。默認(rèn)情況下，每個網(wǎng)絡(luò)緩沖區(qū)的大小為32 KiBytes。在上面的示例中，系統(tǒng)將因此為網(wǎng)絡(luò)緩沖區(qū)分配大約300 MiBytes。請參考文檔以獲取詳細(xì)信息。

原地址：https://www.coder.work/article/3585277