tensorboard安裝
pip install tensorboard
然后安裝tensorboradx
~~ pip install tensorboardx~~ pytorch 1.1以后的版本內(nèi)置了SummaryWriter 函數(shù),所以不需要再安裝tensorboardx了。
安裝完成后與 visdom一樣執(zhí)行獨立的命令 tensorboard --logdir logs 即可啟動，默認(rèn)的端口是 6006,在瀏覽器中打開 http://localhost:6006/ 即可看到web頁面。
image.png
使用
在使用前請先去確認(rèn)執(zhí)行tensorboard --logdir logs 并保證 http://localhost:6006/ 頁面能夠正常打開
圖像展示
首先介紹比較簡單的功能，查看我們訓(xùn)練集和數(shù)據(jù)集中的圖像，這里我們使用現(xiàn)成的圖像作為展示。這里使用wikipedia上的一張貓的圖片這里
引入 tensorboardX 包
# 這里的引用也要修改成torch的引用
#from tensorboardX import SummaryWriter
from torch.utils.tensorboard import SummaryWriter
cat_img = Image.open('./1280px-Felis_silvestris_catus_lying_on_rice_straw.jpg')
cat_img.size # (1280, 853)
# 這是一張1280x853的圖，我們先把她變成224x224的圖片，因為后面要使用的是vgg16
transform_224 = transforms.Compose([
transforms.Resize(224), # 這里要說明下 Scale 已經(jīng)過期了，使用Resize
transforms.CenterCrop(224),
transforms.ToTensor(),
])
cat_img_224=transform_224(cat_img)
#圖片顯示在tensorboard中
writer = SummaryWriter(log_dir='./logs', comment='cat image') # 這里的logs要與--logdir的參數(shù)一樣
writer.add_image("cat",cat_img_224)
writer.close()# 執(zhí)行close立即刷新，否則將每120秒自動刷新
#瀏覽器訪問 http://localhost:6006/#images 即可看到貓的圖片
更新?lián)p失函數(shù)
更新?lián)p失函數(shù)和訓(xùn)練批次我們與visdom一樣使用模擬展示，這里用到的是tensorboard的SCALAR頁面
x = torch.FloatTensor([100])
y = torch.FloatTensor([500])
for epoch in range(30):
x = x * 1.2
y = y / 1.1
loss = np.random.random()
with SummaryWriter(log_dir='./logs', comment='train') as writer: #可以直接使用python的with語法，自動調(diào)用close方法
writer.add_histogram('his/x', x, epoch)
writer.add_histogram('his/y', y, epoch)
writer.add_scalar('data/x', x, epoch)
writer.add_scalar('data/y', y, epoch)
writer.add_scalar('data/loss', loss, epoch)
writer.add_scalars('data/data_group', {'x': x,
'y': y}, epoch)
使用PROJECTOR對高維向量可視化
PROJECTOR的的原理是通過PCA，T-SNE等方法將高維向量投影到三維坐標(biāo)系（降維度）。Embedding Projector從模型運行過程中保存的checkpoint文件中讀取數(shù)據(jù)，默認(rèn)使用主成分分析法（PCA）將高維數(shù)據(jù)投影到3D空間中，也可以通過設(shè)置設(shè)置選擇T-SNE投影方法，這里做一個簡單的展示。
BATCH_SIZE=512
EPOCHS=20
train_loader = torch.utils.data.DataLoader(
datasets.MNIST('data', train=True, download=True,
transform=transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.1307,), (0.3081,))
])),
batch_size=BATCH_SIZE, shuffle=True)
class ConvNet(nn.Module):
def __init__(self):
super().__init__()
# 1,28x28
self.conv1=nn.Conv2d(1,10,5) # 10, 24x24
self.conv2=nn.Conv2d(10,20,3) # 128, 10x10
self.fc1 = nn.Linear(20*10*10,500)
self.fc2 = nn.Linear(500,10)
def forward(self,x):
in_size = x.size(0)
out = self.conv1(x) #24
out = F.relu(out)
out = F.max_pool2d(out, 2, 2) #12
out = self.conv2(out) #10
out = F.relu(out)
out = out.view(in_size,-1)
out = self.fc1(out)
out = F.relu(out)
out = self.fc2(out)
out = F.log_softmax(out,dim=1)
return out
model = ConvNet()
optimizer = torch.optim.Adam(model.parameters())
def train(model, train_loader, optimizer, epoch):
n_iter=0
model.train()
for batch_idx, (data, target) in enumerate(train_loader):
optimizer.zero_grad()
output = model(data)
loss = F.nll_loss(output, target)
loss.backward()
optimizer.step()
if(batch_idx+1)%30 == 0:
n_iter=n_iter+1
print('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format(
epoch, batch_idx * len(data), len(train_loader.dataset),
100. * batch_idx / len(train_loader), loss.item()))
#相對于以前的訓(xùn)練方法 主要增加了以下內(nèi)容
out = torch.cat((output.data, torch.ones(len(output), 1)), 1) # 因為是投影到3D的空間，所以我們只需要3個維度
with SummaryWriter(log_dir='./logs', comment='mnist') as writer:
#使用add_embedding方法進行可視化展示
writer.add_embedding(
out,
metadata=target.data,
label_img=data.data,
global_step=n_iter)
#打開 http://localhost:6006/#projector 即可看到效果。
