Capsule是深度學(xué)習(xí)之父hinton在2017年提出來的一個(gè)較為轟動(dòng)的網(wǎng)絡(luò)結(jié)構(gòu)。capsule這個(gè)結(jié)構(gòu)主要的特點(diǎn)是：Vector in Vector out——向量進(jìn)，向量出，而普通的神經(jīng)元(Neuron)是Vector in Scalar out——向量進(jìn)，標(biāo)量出。capsule輸出的向量比Neuron輸出的標(biāo)量表達(dá)出更豐富的特征。
下圖臺灣大學(xué)的李宏毅老師對capsule解讀的slide。
- Neuron的輸出標(biāo)量只能表示到是否存在鳥嘴。
- capsule的輸出的向量不僅能表示鳥嘴是否存在，而且還能表示出鳥嘴的方向(如圖中向量第一維)，鳥嘴的顏色等，鳥嘴的其他特征。
現(xiàn)在是不是開始感受到vector out 的威力了。
Capsule算法簡介
了解到capsule的強(qiáng)大之后，接下來筆者對Capsule算法實(shí)現(xiàn)做一個(gè)簡單的介紹，感受一下為什么Capsule這么強(qiáng)大。Capsule結(jié)構(gòu)有兩個(gè)比較重要的創(chuàng)新，如下圖所示：
- Squash壓縮激活函數(shù)
-
Dynamic Routing（動(dòng)態(tài)路由）
李宏毅老師capsule講解的slide
Squash函數(shù)：
Squash壓縮激活函數(shù)其實(shí)就是對向量進(jìn)行一下壓縮，但保留向量的模長信息，函數(shù)的表達(dá)式可以看作兩部分：
-
這部分是用向量除以向量本身的模，其含義是將就是將模長壓縮為1。
-
而這部分就可以看出S向量的模長||S||越大，則這部分值越大。其含義是如果一個(gè)向量的模長越長，其向量所代表的那個(gè)特征就越強(qiáng)，類比于神經(jīng)網(wǎng)絡(luò)中Neuron的輸出值越大。
Dynamic Routing（動(dòng)態(tài)路由）：
這一部分作用的有如下2種理解方式：
- 對輸入的特征向量進(jìn)行聚類。
- 相似特征越多，這類特征越強(qiáng)的，從而弱化離群特征，類似于一個(gè)特征選擇的過程，本質(zhì)上也是個(gè)聚類過程。
如下圖所示：Cupsule的輸出向量 和 輸入向量
,
,
之間的內(nèi)積相識度
，決定了
最終包各個(gè)輸入向量的信息程度。
從,
,
三個(gè)特征向量進(jìn)來，通過動(dòng)態(tài)路由循環(huán)，最后下圖中
和
會(huì)比較大(
和
比較相似)，
會(huì)比較小。輸出的
就更多的保留了
和
的信息。換個(gè)角度理解，如果有些特征向量很相似，他們的信息就會(huì)很大程度被保留下來。熟悉textrank算法的同學(xué)有沒有感覺到，其過程很像通過文本相識度進(jìn)行重要度排序的過程。
下圖是Dynamic Routing（動(dòng)態(tài)路由）的詳細(xì)計(jì)算過程。有點(diǎn)類似于RNN的計(jì)算過程，或者直接理解成聚類的迭代過程。相識度系數(shù)
綜上，特征向量輸入到Capsule之后，比普通神經(jīng)網(wǎng)絡(luò)中的Neuron有如下三點(diǎn)優(yōu)勢：
- 做特征間的聚類，強(qiáng)化相似特征，
- 自動(dòng)做特征選擇，輸出更有表達(dá)力的特征向量，
- 輸出特征向量的每個(gè)維度代表是 特征的特征。
上述李老師的例子對3個(gè)特征向量只聚了一類。真實(shí)的情況一般是你輸入一堆特征向量（matrix），返回一堆capsule處理后的特征向量（matrix），如下圖所示：
Capsule實(shí)戰(zhàn)部分——文本分類
數(shù)據(jù)載入
筆者這里使用的是評論情感分析數(shù)據(jù)集，之前的情感分析文章中介紹了這個(gè)數(shù)據(jù)集的數(shù)據(jù)格式，讀者可以去這篇文章查看數(shù)據(jù)詳情。
def read_data(data_path):
senlist = []
labellist = []
with open(data_path, "r",encoding='gb2312',errors='ignore') as f:
for data in f.readlines():
data = data.strip()
sen = data.split("\t")[2]
label = data.split("\t")[3]
if sen != "" and (label =="0" or label=="1" or label=="2" ) :
senlist.append(sen)
labellist.append(label)
else:
pass
assert(len(senlist) == len(labellist))
return senlist ,labellist
sentences,labels = read_data("data_train.csv")
char_set = set(word for sen in sentences for word in sen)
char_dic = {j:i+1 for i,j in enumerate(char_set)}
char_dic["unk"] = 0
數(shù)據(jù)預(yù)處理
這部分就是將句子進(jìn)行向量化，同時(shí)做padding。
def process_data(data,labels,dic,maxlen):
sen2id = [[dic.get(char,0) for char in sen ] for sen in data]
labels = np_utils.to_categorical(labels)
return pad_sequences(sen2id,maxlen=maxlen),labels
train_data,train_labels = process_data(sentences,labels,char_dic,100)
模型定義
這里的代碼筆者是借用的蘇劍林大神基于pure Keras實(shí)現(xiàn)的Capsule。
import keras.backend as K
import numpy as np
#squash壓縮函數(shù)和原文不一樣，可自己定義
def squash(x, axis=-1):
s_squared_norm = K.sum(K.square(x), axis, keepdims=True)
scale = K.sqrt(s_squared_norm + K.epsilon())
return x / scale
class Capsule(Layer):
def __init__(self, num_capsule, dim_capsule, routings=3, kernel_size=(9, 1), share_weights=True,
activation='default', **kwargs):
super(Capsule, self).__init__(**kwargs)
self.num_capsule = num_capsule
self.dim_capsule = dim_capsule
self.routings = routings
self.kernel_size = kernel_size
self.share_weights = share_weights
if activation == 'default':
self.activation = squash
else:
self.activation = Activation(activation)
def build(self, input_shape):
super(Capsule, self).build(input_shape)
input_dim_capsule = input_shape[-1]
if self.share_weights:
self.W = self.add_weight(name='capsule_kernel',
shape=(1, input_dim_capsule,
self.num_capsule * self.dim_capsule),
# shape=self.kernel_size,
initializer='glorot_uniform',
trainable=True)
else:
input_num_capsule = input_shape[-2]
self.W = self.add_weight(name='capsule_kernel',
shape=(input_num_capsule,
input_dim_capsule,
self.num_capsule * self.dim_capsule),
initializer='glorot_uniform',
trainable=True)
def call(self, u_vecs):
if self.share_weights:
u_hat_vecs = K.conv1d(u_vecs, self.W)
else:
u_hat_vecs = K.local_conv1d(u_vecs, self.W, [1], [1])
batch_size = K.shape(u_vecs)[0]
input_num_capsule = K.shape(u_vecs)[1]
u_hat_vecs = K.reshape(u_hat_vecs, (batch_size, input_num_capsule,
self.num_capsule, self.dim_capsule))
u_hat_vecs = K.permute_dimensions(u_hat_vecs, (0, 2, 1, 3))
b = K.zeros_like(u_hat_vecs[:, :, :, 0]) # shape = [None, num_capsule, input_num_capsule]
#動(dòng)態(tài)路由部分
for i in range(self.routings):
b = K.permute_dimensions(b, (0, 2, 1)) # shape = [None, input_num_capsule, num_capsule]
c = K.softmax(b)
c = K.permute_dimensions(c, (0, 2, 1))
b = K.permute_dimensions(b, (0, 2, 1))
outputs = self.activation(K.batch_dot(c, u_hat_vecs, [2, 2]))
if i < self.routings - 1:
b = K.batch_dot(outputs, u_hat_vecs, [2, 3])
return outputs
def compute_output_shape(self, input_shape):
return (None, self.num_capsule, self.dim_capsule)
這里定義了一個(gè)文本分類模型構(gòu)建，采用雙層LSTM加Capsule的結(jié)構(gòu)，同時(shí)你需要定義Capsule出來的向量個(gè)數(shù)n_cap，以及向量維度cap_dim，和動(dòng)態(tài)路由的輪數(shù)routings。
def build_model(vocab,emb_dim,maxlen,n_cap,cap_dim,n_class):
word_input = Input(shape=(None,), dtype="int32")
embed = Embedding(input_dim=len(vocab),
output_dim=100,
input_length=maxlen
)(word_input)
x = Bidirectional(LSTM(100,return_sequences=True))(embed)
x = Capsule(
num_capsule=n_cap,dim_capsule=cap_dim,
routings=3, share_weights=True)(x)
x = Flatten()(x)
x = Dropout(0.5)(x)
outputs = Dense(n_class, activation='softmax')(x)
model = Model(inputs=word_input, outputs=outputs)
model.compile(loss='categorical_crossentropy', optimizer='nadam',metrics=['accuracy'])
model.summary()
return model
運(yùn)行下方代碼模型就構(gòu)建成功了，同時(shí)從下圖中keras的模型可視化輸出可以看到，capsule的如果你的向量個(gè)數(shù)n_cap，以及向量維度cap_dim設(shè)置過大，參數(shù)還是挺多的。
model = build_model(char_dic,100,200,100,100,3)
模型訓(xùn)練
將數(shù)據(jù)喂給模型，指定好模型一些必要的參數(shù)，就可以訓(xùn)練起來了。
model.fit(train_data,train_labels,batch_size=16,epochs=3,validation_split=0.2)
結(jié)語
筆者這里沒有去對比capsule結(jié)構(gòu)和其他網(wǎng)絡(luò)之間的性能，但是從一些capsule的實(shí)驗(yàn)中可以大致了解到capsule的 泛化能力較強(qiáng)，用向量代替標(biāo)量表示特征，可以應(yīng)付一下圖片中pattern方向不同，大小不同，顏色不同等困難場景。所以這個(gè)網(wǎng)絡(luò)還是很值得研究一番，筆者這里只是一個(gè)簡介，大家可以看看我放在參考中的蘇劍林大神的講解和李宏毅教授的視頻，甚至可以結(jié)合原文去仔細(xì)揣摩一番，可能收獲更多。
