Visdom是Facebook专门为Pytorch开发的一款可视化工具,轻量级但功能丰富。

visdom的简单实用

visdom我主要是用来查看网络训练时loss的变化,其他的我倒不是太经常用到。如果训练过程中查看网络输出的图片,我一般就使用torchvision.utils.save_image()把图片保存在本地了。所以本文也就简单介绍下visdom的使用。

visdom的安装

使用pip install visdom就可以了

##启动
通过命令python -m visdom.server启动服务
本地浏览器打开http://localhost:8097就可以了

##程序中查看损失函数的变化
下面给一个小例子(我使用GPU了)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
import torch
import torch.nn as nn
import torchvision.datasets as dsets
import torchvision.transforms as transforms
from torch.autograd import Variable

#######################################
import visdom
#指定Environment:train
vis = visdom.Visdom(env=u'train')
######################################

# Hyper Parameters
num_epochs = 50
batch_size = 64
learning_rate = 0.001

# MNIST Dataset
train_dataset = dsets.MNIST(root='./data/',
train=True,
transform=transforms.ToTensor(),
download=True)

test_dataset = dsets.MNIST(root='./data/',
train=False,
transform=transforms.ToTensor())

# Data Loader (Input Pipeline)
train_loader = torch.utils.data.DataLoader(dataset=train_dataset,
batch_size=batch_size,
shuffle=True)

test_loader = torch.utils.data.DataLoader(dataset=test_dataset,
batch_size=batch_size,
shuffle=False)


# CNN Model (2 conv layer)
class CNN(nn.Module):
def __init__(self):
super(CNN, self).__init__()
self.layer1 = nn.Sequential(
nn.Conv2d(1, 16, kernel_size=5, padding=2),
nn.BatchNorm2d(16),
nn.ReLU(),
nn.MaxPool2d(2))
self.layer2 = nn.Sequential(
nn.Conv2d(16, 32, kernel_size=5, padding=2),
nn.BatchNorm2d(32),
nn.ReLU(),
nn.MaxPool2d(2))
self.fc = nn.Linear(7*7*32, 10)

def forward(self, x):
out = self.layer1(x)
out = self.layer2(out)
out = out.view(out.size(0), -1)
out = self.fc(out)
return out

cnn = CNN()
cnn.cuda()

# Loss and Optimizer
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam([{'params': cnn.layer1.parameters()},
{'params': cnn.layer2.parameters(), 'lr': 1e-2, }], lr=learning_rate)
# Train the Model
for epoch in range(num_epochs):
epoch_loss = 0.
for i, (images, labels) in enumerate(train_loader):
images = Variable(images).cuda()
labels = Variable(labels).cuda()

# Forward + Backward + Optimize
optimizer.zero_grad()
outputs = cnn(images)
loss = criterion(outputs, labels)
loss.backward()
optimizer.step()
if (i+1) % 100 == 0:
print ('Epoch [%d/%d], Iter [%d/%d] Loss: %.4f'
%(epoch+1, num_epochs, i+1, len(train_dataset)//batch_size, loss.data[0]))
epoch_loss += loss.data[0]

########################################################################################################################
# 这里要注意update='append' if epoch > 1 else None,避免覆盖之前的数值
vis.line(X=torch.FloatTensor([epoch]), Y=torch.FloatTensor([epoch_loss]), win='train', update='append' if epoch > 1 else None,
opts={'title': 'train loss'})
########################################################################################################################

# Save the Trained Model
torch.save(cnn.state_dict(), './cnn.pkl')

程序内部用到visdom的地方已经用多个#号标记起来了。
程序里面需要注意的是

update='append' if epoch > 1 else None
因为每次操作都会覆盖之前的数值,但往往我们在训练网络的过程中需不断更新数值,这时就需要指定参数update=’append’来避免覆盖之前的数值。

X=torch.FloatTensor([epoch]), Y=torch.FloatTensor([epoch_loss])
X,Y我基本会设置为FloatTensor

其他一些使用

导入一些包,启动visdom服务

1
2
3
4
5
import visdom
import torch as t
from PIL import Image
from torchvision.transforms import ToTensor
vis = visdom.Visdom(env=u'test')

###正弦函数图形绘制

1
2
3
x = t.arange(1, 30, 0.01)
y = t.sin(x)
vis.line(X=x, Y=y, win='sinx', opts={'title': 'y=sin(x)'})

###显示一些随机图片

1
2
3
4
5
6
7
8
# 可视化一个随机的黑白图片
vis.image(t.randn(64, 64), win='random1', opts={'title': 'random1'})

# 随机可视化一张彩色图片
vis.image(t.randn(3, 64, 64), win='random2', opts={'title': 'random2'})

# 可视化36张随机的彩色图片,每一行6张
vis.images(t.randn(36, 3, 64, 64), nrow=6, padding=2, win='random3', opts={'title': 'random_imgs'})

###显示本地图片

1
2
3
image = Image.open('./src/image/tyx1.jpg')
image = ToTensor()(image)
vis.image(img=image, win='image', opts={'title': 'show image'})

上面这些是我一些常用的操作,其他的暂时还没有用到。

部分内容参考自《深度学习框架PyTorch:入门与实践》