回顧一下FM
image.png
image.png
在FFM（Filed-aware Factorization Machines）中每一維特征（feature）都?xì)w屬于一個特征的filed，field和feature是一對多的關(guān)系。比如
image.png
1.對于連續(xù)特征，一個特征就對應(yīng)一個Field。或者對連續(xù)特征離散化，一個分箱成為一個特征。比如
image.png
2.對于離散特征，采用你one-hot 編碼，同一種屬性的歸到一個Field不論是連續(xù)特征還是離散特征，他們都有一個共同點(diǎn)，同一個filed下只有一個feature的值不是0，其它的feature的值都是0
不論是連續(xù)特征還是離散特征，它們都有一個共同點(diǎn)，同一個field下只有一個feature的值不是0，其它的feature的值都是0。
image.png
FFM 將隱向量進(jìn)一步細(xì)分，每個特征具有多個隱向量 (等于 field 的數(shù)目)。公式如下：
image.png
image.png
3 總結(jié)
優(yōu)點(diǎn)：
引入 field 域的概念，讓某一特征與不同特征做交互時，可發(fā)揮不同的重要性，提升模型表達(dá)能力；
可解釋性強(qiáng)，可提供某些特征組合的重要性。
缺點(diǎn)：
復(fù)雜度高，不適用于特征數(shù)較多的場景。
4 代碼實(shí)戰(zhàn)
理論結(jié)合代碼食用更佳， 代碼中會加入充分注釋，以易理解。
Tips: 模型搭建代碼使用 TF2.0 實(shí)現(xiàn)
FFM層代碼：
(將 FFM 封裝成 Layer，隨后在搭建 Model 時直接調(diào)用即可)
import tensorflow as tf
from tensorflow.keras.layers import Input, Layer
from tensorflow.keras.regularizers import l2
class FFM_Layer(Layer):
def __init__(self, feature_columns, k, w_reg=1e-4, v_reg=1e-4):
super(FFM_Layer, self).__init__()
# FFM需要提前指定field的數(shù)目，因此需要傳入數(shù)值特征與類別特征的列表feature_columns(具體可參照github中utils.py文件中對數(shù)據(jù)的處理過程)
self.dense_feature_columns, self.sparse_feature_columns = feature_columns
self.k = k # 隱向量v的維度
self.w_reg = w_reg # 權(quán)重w的正則項(xiàng)系數(shù)
self.v_reg = v_reg # 權(quán)重v的正則項(xiàng)系數(shù)
self.feature_num = sum([feat['feat_onehot_dim'] for feat in self.sparse_feature_columns]) \
+ len(self.dense_feature_columns) # 類別特征onehot處理之后數(shù)據(jù)集的總維度
self.field_num = len(self.dense_feature_columns) + len(self.sparse_feature_columns) # field個數(shù)=數(shù)值特征個數(shù)+類別特征個數(shù)
def build(self, input_shape):
self.w0 = self.add_weight(name='w0', shape=(1,), # shape:(1,)
initializer=tf.zeros_initializer(),
trainable=True)
self.w = self.add_weight(name='w', shape=(self.feature_num, 1), # shape:(n, 1)
initializer=tf.random_normal_initializer(),
regularizer=l2(self.w_reg),
trainable=True)
self.v = self.add_weight(name='v', # shape:(n, field, k),比FM的V矩陣多一個維度
shape=(self.feature_num, self.field_num, self.k),
initializer=tf.random_normal_initializer(),
regularizer=l2(self.v_reg),
trainable=True)
def call(self, inputs, **kwargs):
# 輸入為Criteo數(shù)據(jù)集，前13維為數(shù)值特征，后面為類別特征，可參照github中Data文件夾)
dense_inputs = inputs[:, :13] # 數(shù)值特征
sparse_inputs = inputs[:, 13:] # 類別特征
# one-hot encoding
x = tf.cast(dense_inputs, dtype=tf.float32) # 類型轉(zhuǎn)換
for i in range(sparse_inputs.shape[1]): # 類別特征onehot處理
x = tf.concat(
[x, tf.one_hot(tf.cast(sparse_inputs[:, i], dtype=tf.int32),
depth=self.sparse_feature_columns[i]['feat_onehot_dim'])], axis=1) # shape:(None, n)
linear_part = self.w0 + tf.matmul(x, self.w) # 線性部分 shape:(None, 1)
inter_part = 0
field_f = tf.tensordot(x, self.v, axes=1) # 為了方便，先計算公式中的Vij*Xi. shape:[None, n] x [n, field, k] = [None, field, k]
for i in range(self.field_num): # 域之間兩兩相乘,[None, field, k]->[None, k]，(因?yàn)楣綗o法化簡，所以無法避免嵌套for循環(huán)的計算，導(dǎo)致了較高的復(fù)雜度)
for j in range(i+1, self.field_num):
inter_part += tf.reduce_sum(
tf.multiply(field_f[:, i], field_f[:, j]), # [None, k]
axis=1, keepdims=True
)
return linear_part + inter_part # [None, k]
Model 搭建：
from layer import FFM_Layer
from tensorflow.keras import Model
class FFM(Model):
def __init__(self, feature_columns, k, w_reg=1e-4, v_reg=1e-4):
super(FFM, self).__init__()
self.dense_feature_columns, self.sparse_feature_columns = feature_columns
self.ffm = FFM_Layer(feature_columns, k, w_reg, v_reg) # 定義FFM層
def call(self, inputs, **kwargs):
output = self.ffm(inputs) # 輸入FFM層
output = tf.nn.sigmoid(output) # 非線性轉(zhuǎn)換
return output
到此模型搭建就結(jié)束了。
完整的代碼 (包括數(shù)據(jù)的處理以及模型的訓(xùn)練) 可參考以下 Github倉庫，自行下載數(shù)據(jù)集到本地運(yùn)行即可。
寫在最后
下一篇預(yù)告：Wide&Deep 推薦算法與深度學(xué)習(xí)的碰撞
