在上一篇中我們介紹了 mpi4py 并行讀/寫(xiě) numpy npy 文件的方法,下面我們將介紹 mpi4py 軟件包初始化相關(guān)的一些設(shè)置。
初始化及運(yùn)行時(shí)設(shè)置
有在 C/C++/Fortran 等其它計(jì)算機(jī)語(yǔ)言下編寫(xiě) MPI 并行計(jì)算程序經(jīng)驗(yàn)的讀者都知道,在使用 MPI 時(shí)除了要導(dǎo)入 MPI 的相應(yīng)頭文件之外,還要首先調(diào)用 MPI_Init/MPI_Init_thread 來(lái)初始化 MPI 環(huán)境,然后才能使用 MPI 庫(kù)提供的各項(xiàng)功能,在結(jié)束 MPI 程序時(shí)一般還需要調(diào)用 MPI_Finalize 以結(jié)束 MPI 環(huán)境。但是在使用 mpi4py 時(shí),我們一般并沒(méi)有調(diào)用 mpi4py 中對(duì)應(yīng)的函數(shù) mpi4py.MPI.Init/mpi4py.MPI.Init_thread 和 mpi4py.MPI.Finalize,這是為什么呢?原來(lái)在導(dǎo)入和使用 mpi4py 時(shí),mpi4py 軟件包會(huì)做大量的初始化工作。在導(dǎo)入 mpi4py 時(shí)如果不做一些特定的設(shè)置,就會(huì)采用 mpi4py 的默認(rèn)初始化設(shè)置,其中就包括對(duì) mpi4py.MPI.Init/mpi4py.MPI.Init_thread 和 mpi4py.MPI.Finalize 的默認(rèn)調(diào)用。這些默認(rèn)的初始化設(shè)置在大多數(shù)情況下都是合適的,并不需要我們顯式地進(jìn)行設(shè)置,因此能夠節(jié)省我們一部分工作,使我們可以簡(jiǎn)潔而方便地編寫(xiě) Python 環(huán)境下的 MPI 并行計(jì)算程序。但是在某些情況下,我們需要進(jìn)行一些特定的初始化設(shè)置,mpi4py 允許定制一些特定的初始化選項(xiàng),我們只需在導(dǎo)入 mpi4py 的 MPI 模塊之前進(jìn)行相應(yīng)的設(shè)置或調(diào)用相應(yīng)的函數(shù)即可。下面是 mpi4py 提供的初始化及運(yùn)行時(shí)設(shè)置函數(shù):
mpi4py.rc(**kargs)
mpi4py 運(yùn)行時(shí)設(shè)置(Runtime configuration)函數(shù)??梢栽O(shè)置的參數(shù)包括:initialize 是否在 import MPI 時(shí)自動(dòng)調(diào)用 MPI.Init 函數(shù)以初始化 MPI 環(huán)境,默認(rèn)為 True;threads 是否要求多線程支持,默認(rèn)為 True;thread_level,要求的線程級(jí)別,默認(rèn)為 'multiple',可供選擇的級(jí)別有 'multiple', 'serialized', 'funneled' 和 'single';finalize,是否在程序退出時(shí)自動(dòng)調(diào)用 MPI.Finalize,默認(rèn)為 None,表示和 initialize 的值相同,也可以設(shè)置為 True 或 False;fast_reduce,是否使用樹(shù)算法進(jìn)行快速的規(guī)約操作,默認(rèn)為 True;recv_mprobe,是否采用匹配的 probe 方法來(lái)接收消息,默認(rèn)為 True;errors,錯(cuò)誤處理策略,默認(rèn)為 'exception',表示發(fā)生錯(cuò)誤時(shí)會(huì)拋出異常,還可以設(shè)置為 'default',表示使用 MPI 的默認(rèn)錯(cuò)誤處理機(jī)制,或?yàn)?'fatal',表示將所有的錯(cuò)誤都設(shè)置成嚴(yán)重級(jí)別,此時(shí)程序遇到錯(cuò)誤時(shí)一般會(huì)中止。
我們可以調(diào)用以上函數(shù)進(jìn)行初始化及運(yùn)行時(shí)設(shè)置,也可以直接設(shè)置 rc 的相應(yīng)參數(shù)完成同樣的設(shè)置工作。rc 的對(duì)應(yīng)屬性默認(rèn)設(shè)置為:
rc.initialize = True
rc.threads = True
rc.thread_level = 'multiple'
rc.finalize = None
rc.fast_reduce = True
rc.recv_mprobe = True
rc.errors = 'exception'
想要改變某項(xiàng)設(shè)置,只需設(shè)置 rc 的對(duì)應(yīng)屬性為一個(gè)不同的值即可,如 rc.initialize = False。
其它相關(guān)函數(shù)
另外,下面是一些初始化及運(yùn)行時(shí)相關(guān)的其它函數(shù)方法:
mpi4py.get_include()
返回 mpi4py 軟件包的頭文件目錄。一些使用 mpi4py 的擴(kuò)展模塊的編譯需要指定 mpi4py 的相關(guān)頭文件路徑,可以使用該函數(shù)返回頭文件路徑。例如,可以使用 Python distutils (或者 numpy 的 distutils)如下編譯一個(gè)擴(kuò)展模塊:
import mpi4py
Extension('extension_name', ...
include_dirs=[..., mpi4py.get_include()])
mpi4py.get_config()
返回一個(gè)包含 MPI 相關(guān)信息的字典。
mpi4py.profile(name, **kargs)
MPI profiling 支持。name 是要導(dǎo)入的 profiler 庫(kù)。其它可設(shè)置參數(shù)有:path,一系列由字符串表示的路徑,用來(lái)搜尋所用的 profiler,logfile,profiler 所產(chǎn)生的日志文件前綴。
有關(guān) mpi4py 中的 profiling 的使用將在下一篇中介紹。
例程
下面給出使用例程:
# ini.py
"""
Demonstrates the useage of initialization and runtime configuration options.
Run this with 2 processes like:
$ mpiexec -n 2 python ini.py
"""
# mpi4py.rc(initialize=False)
# or use the following way
# we must set the initialization and runtime configuration options
# before the import of MPI module
from mpi4py import rc
# the default of rc.initialize is True and rc.finalize is None
# change rc.initialize to False
# rc.finalize will also be False when it value is None
rc.initialize = False
from mpi4py import MPI
print 'Before call Init(), MPI.Is_initialized: %s' % MPI.Is_initialized()
print 'Before call Init(), MPI.Is_finalized: %s' % MPI.Is_finalized()
# now we have to call Init explicitly
MPI.Init()
print 'After call Init(), MPI.Is_initialized: %s' % MPI.Is_initialized()
print 'After call Init(), MPI.Is_finalized: %s' % MPI.Is_finalized()
comm = MPI.COMM_WORLD
rank = comm.rank
print 'I am Process %d...' % rank
# have to call Finalize explicitly to terminate MPI
MPI.Finalize()
print 'After call Finalize(), MPI.Is_initialized: %s' % MPI.Is_initialized()
print 'After call Finalize(), MPI.Is_finalized: %s' % MPI.Is_finalized()
運(yùn)行結(jié)果如下:
$ mpiexec -n 2 python ini.py
Before call Init(), MPI.Is_initialized: False
Before call Init(), MPI.Is_finalized: False
Before call Init(), MPI.Is_initialized: False
Before call Init(), MPI.Is_finalized: False
After call Init(), MPI.Is_initialized: True
After call Init(), MPI.Is_finalized: False
I am Process 0...
After call Init(), MPI.Is_initialized: True
After call Init(), MPI.Is_finalized: False
I am Process 1...
After call Finalize(), MPI.Is_initialized: True
After call Finalize(), MPI.Is_finalized: True
After call Finalize(), MPI.Is_initialized: True
After call Finalize(), MPI.Is_finalized: True
以上介紹了 mpi4py 中初始化和運(yùn)行時(shí)設(shè)置,在下一篇中我們將介紹 mpi4py 中的 profiling。