有一個(gè)這樣的問題:現(xiàn)要用 setuptools 把一個(gè)項(xiàng)目打包成 whl 文件,然后 pip install 在 Windows/Linux 兩種操作系統(tǒng)上,但是該項(xiàng)目中有一些依賴庫只有 Windows 上才有(例如 pywinauto、pywingui、pywinrm),那么問題是,如何實(shí)現(xiàn)打包文件的可兼容性安裝?
從打包的角度,這個(gè)問題的關(guān)鍵還是看 setup.py 和 requirements.txt 文件。
關(guān)于 Python 的包構(gòu)建分發(fā)和 setup.py 的使用,這里有篇文章 寫得很好,推薦閱讀。另外關(guān)于 Python 依賴庫的管理(requirements.txt),這篇文章 詳細(xì)比較了 pip、pipreqs、pigar、pip-tools 和 pipdeptree 等工具,也推薦一讀。
有一個(gè)比較笨的實(shí)現(xiàn)方法:維護(hù)兩份 requirements.txt 文件,分別用來打包,然后分發(fā)給不同操作系統(tǒng)去使用。
但是這樣會有麻煩:維護(hù)兩份依賴文件和兩種包文件,本身就挺費(fèi)勁的,而在生成過程中,每次還得對它們改名以作區(qū)分(注意包名有一定的規(guī)范約束,亂改的話,pip 可能識別不出),維護(hù)成本就很高。
其實(shí),維護(hù)軟件包在不同操作系統(tǒng)的版本,并不少見。如果你曾留意過不同版本 Python 庫文件的話,你會注意到很多庫都會按不同操作系統(tǒng)而分發(fā)不同的版本。例如,下面是同一版本號的 Numpy 在不同操作系統(tǒng)上的分發(fā)版(https://pypi.org/simple/numpy/):

可以看出它根據(jù) macos、linux 和 win 三類操作系統(tǒng)及其位數(shù),分成了 5 個(gè)版本。維護(hù)這么多版本,肯定是一件麻煩事,但是出現(xiàn)了這樣的結(jié)果,就意味著 Numpy 官方認(rèn)為分發(fā)不同系統(tǒng)版本是利大于弊的,而且是有辦法實(shí)現(xiàn)的。
回到我們的問題,是否有必要像 Numpy 那樣設(shè)法打包成多個(gè)操作系統(tǒng)定制的包呢?
答案是否定的。主要的原因:
- Numpy 這么做是因?yàn)樗亲隹茖W(xué)計(jì)算的,為了提升效率,它把編譯好的 C 拓展文件打包,從而不需要依賴環(huán)境上的 libxxx-devel 之類的庫。如果你編譯安裝過 Python,應(yīng)該有印象需要安裝 zlib-devel、openssl-devel 和 libffi-devel 之類的系統(tǒng)依賴。但我們前面的問題比較簡單,并不是有不同的編譯依賴(系統(tǒng)級),而只是三方庫依賴不同(項(xiàng)目級)。
- 另一個(gè)主要的原因,Numpy 打包出的不同系統(tǒng)版本,并非簡簡單單地用 setuptools 之類的 Python 庫就能打包,而是要借助標(biāo)準(zhǔn)的鏡像進(jìn)行構(gòu)建。例如,manylinux 版本的打包,參見 Github(https://github.com/pypa/manylinux),就需要使用官方提供的 Docker 鏡像。對于我們的問題,顯然不想做到這么麻煩。
簡而言之,根據(jù)前面的分析,如果要實(shí)現(xiàn)操作系統(tǒng)兼容的打包,維護(hù)多份依賴文件、使用不同構(gòu)建包的方法、維護(hù)多系統(tǒng)專用的包,方法可行,但并不是很適用。
如果沒有新的辦法,這不失為一種考慮,但是有沒有別的辦法了呢?
我曾被這個(gè)問題困擾過,但是沒有深入去研究解決,直到無意中在loguru 這個(gè)用來記錄日志的庫的 setup.py 中看到:

再翻看大名鼎鼎的requests 庫文件,發(fā)現(xiàn)還可以這樣寫:

兩個(gè)示例都是寫在 setup.py 文件中,其實(shí)如果我們用 requirements.txt 文件,也可以按這種格式寫,然后再讀取進(jìn)來。
這種神奇的寫法是怎么回事呢?
它的依據(jù)是 2015 年 11 月創(chuàng)建的 PEP-508(以及相關(guān)的但已被撤銷或拒絕了的 PEP-390、PEP-426、PEP-459、PEP-496),該 PEP 的主要意圖是增強(qiáng) pip 等工具查找軟件包的能力。

比較重要的部分就是跟我們的問題相關(guān)的,即對操作系統(tǒng)作區(qū)分的標(biāo)識,相關(guān)的有:

有了這樣的擴(kuò)展支持,在打包依賴項(xiàng)時(shí),就可以解決兼容性問題了。
例如 colorama 庫,如果我們只在 win32 系統(tǒng)才需要依賴,那么在打包時(shí)就可以指定:“colorama>=0.3.4 ; sys_platform=='win32' ”;如果不需要限定 win32 系統(tǒng),而是在 windows 環(huán)境都安裝,那么可以寫成“colorama>=0.3.4 ; platform_system=='Windows' ”。
最終,我們解決了本文開頭的問題。這個(gè)問題可能比較小眾,解決起來也沒有什么大文章可做,算是一個(gè)小小的 tips 分享給大家吧。