Quantcast
Channel: InfoQ - 促进软件开发领域知识与创新的传播
Viewing all articles
Browse latest Browse all 1638

阿里提出基于Transformer的个性化重排序模型PRM,首次用于大规模在线系统

$
0
0

在推荐系统中,个性化排序是推荐系统的核心部分之一。阿里巴巴的研究人员在近期的一篇论文中提出了基于Transformer的重排序结构PRM,解决当前point-wise方式排序模型只考虑单个物品与用户之间相关性而忽略物品间相关性的问题,效果好于LambdaMART以及List-wise方式的DLCM,同时还开源了论文所使用的电商场景数据集。该论文已经被RecSys 2019 会议录用。本文是AI前线第102篇论文导读,我们将对这项研究工作进行详细解读。

概览

在推荐系统中,排序至关重要。排序算法给出的排序表的质量对推荐系统的收益和用户满意度有很大的影响。为了优化排序性能,业界提出了大量的排序算法。通常,推荐系统中的排序只考虑用user-item对的特性,而不考虑来自列表中其他item的影响,特别是那些邻近的item。尽管pairwise和listwise的LTR(learning to rank)试图以item对或item列表为输入来解决问题,但它们只专注于优化损失函数,以更好地利用label。它们没有明确地模拟特征空间中item之间的相互影响。

一些文献倾向于对item之间的相互影响进行显式建模,来重新定义由先前排序算法生产的列表,称为重新排序。主要思想是将intra-item模式编码到特征空间中,来建立评分函数。编码特征向量的state-of-the-art的方法是基于RNN的,例如GlobalRerank和DLCM。它们将初始列表按顺序输入到基于RNN的结构中,并在每个时间步输出编码向量。然而,基于RNN的方法对列表中item之间的交互进行建模的能力有限。前一编码项的特征信息随着编码距离的增加而降低。受机器翻译中使用的Transformer架构的启发,我们提议使用Transformer来建模item之间的相互影响。结构采用注意力机制,其中任何两个item都可以直接相互作用,而不会在编码距离上退化。同时,由于Transformer的并行化,encoding部分比基于RNN的方法更高效。

在推荐系统中,除了考虑item之间的交互作用外,还应考虑交互的个性化编码函数,以便重新排序。推荐系统的重新排序是用户特定的,取决于用户的偏好和意图。对于一个对价格敏感的用户来说,“价格”特征之间的交互在重排序模型中应该更为重要。典型的全局编码函数可能不是最优的,因为它忽略了每个用户的特征分布之间的差异。例如,当用户关注价格比较时,具有不同价格的类似item往往在列表中更集中。当用户没有明显的购买意向时,推荐列表中的item往往更加多样化。因此,我们在Transformer结构中引入了一个个性化模块来表示用户的偏好和对item交互的意图。在我们的个性化重排序模型中,列表中的item和用户之间的交互可以同时被捕获。

本文主要贡献如下:

问题我们提出了一个个性化的推荐系统重排序问题,据我们所知,这是第一次在大规模的在线系统重排序任务中显式地引入个性化的重排序信息。实验结果证明了在列表表征中引入用户表征进行重排序的有效性。


Viewing all articles
Browse latest Browse all 1638

Trending Articles