總結(jié)
個人認為Nvidia顯卡目前依然是比較好的方案，使用AMD顯卡需要針對性的看具體用途并做測試，原因如下：
1 CUDA具備先發(fā)優(yōu)勢，開源生態(tài)成熟，可能在很長一段時間內(nèi)都是主流，其他的追隨者雖然提供類似的加速計算工具，很難得到廣泛的開源生態(tài)支持。
2 其他平臺的底層API，很難做到和CUDA接口完全一致，目前ROCm模仿的是英偉達9和10系列的顯卡的計算接口，可能還需要一些時間積累。
3 其他平臺的穩(wěn)定性也有所不足（可能導致人工開發(fā)維護成本增加），CUDA經(jīng)過很多年的積累，很多開源社區(qū)的使用也讓其發(fā)現(xiàn)和修復了很多bug，不只是計算平臺本身，可能還涉及系統(tǒng)、硬件等多方面，在沒有足夠的開源生態(tài)去幫助調(diào)試發(fā)現(xiàn)bug的時候，計算平臺廠商的工作量是非常大的。
4 成本優(yōu)勢相比維護成本微弱，虛擬幣挖礦的大潮過去后，顯卡價格落差在縮小，游戲性能相近的RTX 4080和RX7900XT，售價分別是8000和6000左右，并且價格方面可以通過二手顯卡、低配顯卡方面妥協(xié)，并且A卡很可能速度上也有犧牲，游戲性能相當?shù)目赡芘蹵I就會有一定的差距）
5 除了軟件生態(tài)不足，A卡連自家的顯卡目前支持度還非常有限，消費級顯卡只有兩款支持，目前最新的顯卡RX7900XT都不支持自己的計算平臺ROCm
名詞解釋
ROCm：AMD發(fā)布的GPU加速計算庫，只支持AMD顯卡,支持linux，據(jù)說windows也開始支持
DirectML：微軟發(fā)布GPU加速計算庫，據(jù)說支持AMD、NVIDIA等顯卡,只支持windows
CUDA：英偉達發(fā)布的GPU加速計算庫，只支持NVIDIA顯卡，支持windows和linux，下游軟件生態(tài)最成熟穩(wěn)定
三者橫向?qū)Ρ葏⒖假Y料：
有人使用過Tensorflow-DirectML嘛，性能和cuda或者rocm相比如何？
方案介紹
方案一Linux+ROCm
優(yōu)點：
1性價比略高
2 Pytorch2.0兼容
缺點：
1軟件生態(tài)不成熟，AMD早在2016年4月就發(fā)布了ROCm平臺，迄今已經(jīng)整整7年，但因為起步太晚，而且官方支持力度有限，盡管開源，卻一直沒能發(fā)展開來。
2部分底層接口尚未實現(xiàn)，還不能完全替代Linux+CUDA方案。
3目前支持的硬件非常有限，目前消費級顯卡僅僅支持老款的RX6900XT、RX6600、VII
方案二Windows+ROCm
參考鏈接：
7年了！AMD CUDA殺手ROCm終于登陸Windows、支持游戲顯卡
優(yōu)點：
暫無
缺點：
1下游軟件生態(tài)不成熟，目前所有基于pytorch的模型（如chatGLM）都無法用這種方式運行。雖然在今年4月14日，AMD宣布ROCm宣布支持windows，但是截止到6月25日，pytorch官方網(wǎng)站顯示windows系統(tǒng)下pytorch還不支持ROCm，需要持續(xù)關注
2支持的顯卡非常有限，目前windows下只支持Radeon Pro W6800、RX 6900 XT、RX 6600
方案三Windows+DirectML
參考鏈接
AMD GPU，PyTorch，Windows和DirectML
Enable PyTorch with DirectML on Windows
優(yōu)點：
1支持多種GPU
缺點：
1軟件支持十分匱乏，目前pytorch已經(jīng)更新到2.0，目前官方文檔描述DirectML只支持pytorch1.13，僅僅就chatGLM來說，官方文檔中要求pytorch版本大于1.10，如果只是運行chatGLM的推理，可能夠用（具體穩(wěn)定性如何，是否支持還需要進一步真機測試），只是可能未來程序升級可能會比較受限，比如用其他的更新的模型，對版本要求可能會更高。
方案四Windows+CPU
優(yōu)點：
1不借助顯卡加速，只用CPU計算，部分模型在CPU和GPU做推理速度差別不明顯，多數(shù)模型速度雖有明顯差異，但也能將就使用。
2硬件成本更低，必要的情況下可升級顯卡加快速度。
3軟件支持兼容性好，幾乎所有模型都支持CPU推理。
缺點：
1可以做推理，但是不適合做模型訓練。
方案五Windows+CUDA
優(yōu)點：
1基本上絕大多數(shù)的Nvidia顯卡都支持
2追求性價比可以考慮二手顯卡、低配顯卡
缺點：
1相比linux+CUDA，開源生態(tài)略顯不足，程序穩(wěn)定性略低
方案六Linux+CUDA
優(yōu)點：
1軟件生態(tài)完善，最活躍，目前流行的多卡并行計算的開源框架多數(shù)都是基于該方案
2基本上絕大多數(shù)的Nvidia顯卡都支持
3追求性價比可以考慮二手顯卡、低配顯卡
4穩(wěn)定性最高，減少后期維護成本
缺點：
暫無
