多模态学习在CTR预估模型中的应用实践

导读：本文是“数据拾光者”专栏的第五十三篇文章，这个系列将介绍在广告行业中自然语言处理和推荐系统实践。本篇分享了多模态学习在CTR预估模型中的应用实践及效果展示，对于想要将多模态学习应用到CTR预估模型中的小伙伴可能有所帮助。

欢迎转载，转载请注明出处以及链接，更多关于自然语言处理、推荐系统优质内容请关注如下频道。

知乎专栏：数据拾光者

公众号：数据拾光者

摘要：本篇分享了多模态学习在CTR预估模型中的应用实践及效果展示。首先是背景介绍，通过多模态学习可以更好的处理多模态信息，从而得到更丰富的特征信息，可以更好的提升CTR模型效果；然后重点介绍了多模态学习在CTR模型中的应用实践及效果展示，主要包括多模态实验流程介绍、文本模态和图像模态的应用实践及效果展示和后续优化工作。对于想要将多模态学习应用到CTR预估模型中的小伙伴可能有所帮助。

下面主要按照如下思维导图进行学习分享：

01

背景介绍

最近主要在做品牌广告CTR预估项目，特征方面主要使用的是传统广告特征，比如ad、user、user点击ad、时序等相关特征，而对于广告点击影响最直观的广告素材图片和标题等多模态数据并没有被应用到CTR模型中。由于不同模态的表现方式不同，看待事物的角度不同，对于事物的理解也会不同，通过多模态学习可以更好的处理多模态信息，从而得到更丰富的特征信息。结合之前在NLP和CV领域中的技术积累，将多模态学习(主要是文本模态(广告品牌和标题)和图像模态(广告素材图片))应用到CTR预估模型并落地到实际业务中带来效果提升就变成我当前最重要的任务之一。接下来主要分享我把文本模态和图片模态特征应用到CTR模型中的技术实践以及离线带来的效果提升情况。

02

多模态在CTR模型的应用实践及效果展示

2.1 多模态实验流程介绍

这里先介绍下多模态实验配置情况，对照组中将传统广告特征embedding放入到DNN模型(4层全连接层[256,128,32,1])中进行训练，模型评估指标用的是AUC和GAUC。实验组中将多模态数据特征embedding通过concat方式添加到传统广告特征embedding后使用相同的DNN模型结构训练，实验主要从特征层面对比多模态特征带来的模型效果提升情况。需要说明的是多模态特征还有很多高阶使用方式，这里先通过最常用的concat方式快速实验查看效果并决定是否进行更深入的研究。

2.2 文本模态应用实践及效果展示

2.2.1 获取高质量的文本模态embedding

上面实验流程介绍中也说了会将多模态数据特征embedding通过concat方式添加到传统广告特征embedding后，这里最重要的是如何获取高质量的文本模态embedding。

首先当前NLP中获取文本embedding常规做法是使用BERT类预训练模型作为encoder进行编码，这里需要考虑的是预训练模型权重的选择问题；然后获取到文本embedding之后需要考虑是否要进行降维操作，如果使用BERT-base进行编码会得到768维向量，将高维向量直接concat到传统广告embedding之后可能会挤占其他特征，从而影响其他特征带来的作用。一个不错的方式是使用苏神提出的BERT-whitening白化方式，一方面可以提高BERT语义向量的质量，另一方面可以降低BERT语义向量的维度；最后需要考虑多个文本特征的使用方式，广告文本模态数据主要包括广告标题和品牌两个字段，下面是广告文本模态数据示例：

图1 广告文本模态数据示例

2.2.2 多个文本特征的使用方式实验

本实验主要对比添加多模态特征对CTR模型效果的影响，模型均使用DNN。广告文本模态主要有广告标题和广告品牌两个字段，分别从仅使用标题、仅使用品牌和同时使用品牌和标题进行对比。因为同一个广告可能有多个品牌名和标题，所以这里会以广告粒度对品牌名和标题进行分组拼接操作，比如ad1有brand1、brand2、brand3，这里会将ad1的品牌加工成brand1@@ brand2 @@ brand3，拼接字符使用的是“@@”。同时拼接的时候需要注意顺序，如果有两个广告ad1和ad2，它们的品牌都是brand1、brand2、brand3，拼接的时候如果不注意顺序可能拼接之后得到的文本是不同的。实验组中均使用4层Transformer的BERT模型得到312维，同时使用BERT-whitening白化操作并降维到64维向量，其中4层Transformer的BERT模型权重使用的是追一科技开源的预训练模型，模型地址如下：

https://github.com/ZhuiyiTechnology/pretrained-models

实验配置如下：

对照组：传统广告embedding；

Lab1：仅添加文本模态特征brand；

Lab2：仅添加文本模态特征title；

Lab3：将brand和title文本数据拼接，添加文本模态特征；

Lab4：将Lab1和Lab2作为两个特征同时加入；

Lab5：将Lab1、Lab2和Lab3作为三个特征同时加入；

实验结果如下：

图2 多个文本特征的使用方式实验结果

整体来看添加文本模态特征带来的效果提升非常明显，AUC提升比例最高为3.54%，GAUC提升比例最高为6.56%。多个文本特征使用方式上将brand和title的文本进行拼接后得到embedding的GAUC效果是最好的。

2.2.3 预训练模型实验

本实验主要对比不同的BERT预训练模型对CTR模型效果的提升情况，实验组预训练模型会分别使用12层ROBERTA-WWM得到768维句向量、4层Transformer的BERT模型得到312维句向量，实验组同时经过BERT-whitening加工成64维embedding，多个文本特征使用方式选择将brand和title拼接后得到embedding进行添加。