關(guān)于pytorch之GPU使用以及#CUDA_VISIBLE_DEVICES使用
1.使用命令nvidia-smi查看當(dāng)前GPU數(shù)量，其中每個(gè)GPU被編上了順序的序號，比如是4個(gè)GPU，就是[0,1,2,3]
我這臺(tái)電腦就沒GPU
2.在默認(rèn)情況下，標(biāo)號為0的顯卡為主卡，如果有多個(gè)的話
通過os.environ["CUDA_VISIBLE_DEVICES"]指定所要使用的顯卡，如：
os.environ["CUDA_VISIBLE_DEVICES"] = "3,2,0,1"
model = torch.nn.DataParallel(model, device_ids=[0,2,3]).cuda()
此時(shí)，3號顯卡就變成了主卡，在使用torch.nn.DataParallel指定運(yùn)算顯卡時(shí)，顯卡的對應(yīng)關(guān)系如下：
實(shí)際顯卡編號----->運(yùn)算顯卡編號
? ? 3? ? ----->? ? 0（主卡）
? ? 2? ? ----->? ? 1
? ? 0? ? ----->? ? 2
? ? 1? ? ----->? ? 3
3. 使用所有存在的顯卡
在存在多卡的條件下，最簡單的方法是直接使用torch.nn.DataParallel將你的模型wrap一下即可：
net = torch.nn.DataParallel(model)
這時(shí)，默認(rèn)所有存在的顯卡都會(huì)被使用
4.指定編號使用顯卡
如果有很多顯卡(例如我們有4張顯卡)，但只想使用0、1、2號顯卡，那么可以：
net = torch.nn.DataParallel(model, device_ids=[0, 1, 2])
或者：
os.environ["CUDA_VISIBLE_DEVICES"] = ','.join(map(str, [0,1,2])) # 一般在程序開頭設(shè)置
# 等價(jià)于os.environ["CUDA_VISIBLE_DEVICES"] = '0,1,2'
net = torch.nn.DataParallel(model)
CUDA_VISIBLE_DEVICES表示當(dāng)前可以被python環(huán)境程序檢測到的顯卡
如果只需要指定一張卡，可以使用torch.cuda.set_device(1)指定gpu使用編號
(不建議用這個(gè)方法)
torch.cuda.set_device(1)
print(torch.cuda.device_count()) #可用GPU數(shù)量
我的機(jī)器是0卡，所以print結(jié)果是：0，若是4卡，輸出是4,說明用torch.cuda.set_device(1)指定，不會(huì)改變可見的顯卡）
后面還可以用torch.nn.DataParallel(model, device_ids=[1, 2])進(jìn)行指定，
但是必須包含set_device(1)指定的device:1的設(shè)備，缺點(diǎn)是仍然會(huì)存在占用一些device:0的gpu內(nèi)存；
5.os.environ[“CUDA_VISIBLE_DEVICES”]詳解
（1） [“CUDA_VISIBLE_DEVICES”]使用
CUDA_VISIBLE_DEVICES表示當(dāng)前可以被python環(huán)境程序檢測到的顯卡
os.environ["CUDA_VISIBLE_DEVICES"] = ','.join(map(str, [0,1,2])) # 一般在程序開頭設(shè)置
# 等價(jià)于os.environ["CUDA_VISIBLE_DEVICES"] = '0,1,2'
os.environ["CUDA_VISIBLE_DEVICES"] = '1,2'進(jìn)行指定使用設(shè)備
這樣會(huì)修改pytorch感受的設(shè)備編號，pytorch感知的編號還是從device:0開始。如上則把1號顯卡改為device:0，1號顯卡改為device:1，使用時(shí)應(yīng)該這么寫：
os.environ["CUDA_VISIBLE_DEVICES"] = '1,2'
torch.nn.DataParallel(model, device_ids=[0,1])
（2）關(guān)于設(shè)置[“CUDA_VISIBLE_DEVICES”]無效的解決
不生效的原因是，這一行代碼放置的位置不對。
一定要把os.environ['CUDA_VISIBLE_DEVICES']='1'放在所有訪問GPU的代碼之前。
torch.cuda.device_count()
6.torch.cuda主要函數(shù)
（1）torch.cuda.is_available()判斷GPU是否可用
import torch
print(torch.cuda.is_available())
（2）torch.cuda.device_count()查看可用GPU數(shù)量
os.environ["CUDA_VISIBLE_DEVICES"] = '0,1,2'
print(torch.cuda.device_count())
（3）torch.cuda.current_device()查看當(dāng)前使用的GPU序號
os.environ["CUDA_VISIBLE_DEVICES"] = '1,2'
print(torch.cuda.current_device())
這樣就證明了我們上面說的，os.environ["CUDA_VISIBLE_DEVICES"] = '1,2'進(jìn)行指定使用設(shè)備，會(huì)修改pytorch感受的設(shè)備編號，pytorch感知的編號還是從device:0開始
（4）其他一些函數(shù)
查看指定GPU的容量、名稱
torch.cuda.get_device_capability(device)
torch.cuda.get_device_name(device)
清空程序占用的GPU資源
torch.cuda.empty_cache()
為GPU設(shè)置隨機(jī)種子
torch.cuda.manual_seed(seed)
參考：https://blog.csdn.net/qq_34243930/article/details/106695877
torch.cuda.manual_seed_all(seed)
