KDD24大厂介绍系统优化上班总结

当天这篇文章给大家引见几篇KDD2024中，大厂在介绍系统畛域的优化上班，论文来自爱彼迎、腾讯、快手、美团等公司，设计多指标建模、多样性、搜查用意建模、ranking loss等疑问。

爱彼迎：多指标建模和模型蒸馏

论文题目 ：Multi-objective Learning to Rank by Model Distillation

下载地址 ：

多指标建模转换成模型蒸馏疑问。多指标的场景要求最小化一个指标的预测误差，同时其余指标的预估误差在一个解放内。假定独自训练的一个单指标模型，成果必定比多指标一同训练的这个指标的预测误差要小，上述疑问就等价于一个模型蒸馏损失函数。这个损失函数一方面包含主指标的hard label的优化指标，另一方面包含每个其余指标下，多指标蒸馏单指标最优模型soft label的优化指标。经过各个辅佐指标蒸馏损失的权重，以及主指标hard label和辅佐指标soft label的权重，调理模型优化环节。

Ranking Loss有效性剖析

论文题目 ：Understanding the Ranking Loss for Recommendation with Sparse User Feedback

下载地址 ：

介绍系统的预估模型普通驳回Binary Cross Entropy训练，一些钻研发现引入list-wise或许pair-wise的ranking loss可以清楚优化模型AUC。本文探求了ranking loss的引入带来成果优化的要素。经过对比在BCE基础上能否引入ranking loss，模型在梯度降级、训练超平面等角度的剖析，本文发现ranking loss有效的外围要素是在正样本稠密的场景下，相比独自BCE模型，引入ranking loss可以让梯度变得更大，模型训练更容易收敛，负样本优化超平面愈加峻峭，进而带来成果优化。

快手：高低文蒸馏优化精排多样性

论文题目 ：Contextual Distillation Model for Diversified Recommendation

下载地址 ：​ ​​ ​

本文提出了一种在精排阶段优化介绍系统多样性的建模方法。普通优化介绍系统多样性都是在重排阶段经常使用NMR算法成功，该算法每次将精排打分最高且和曾经选用的候选相似度最低的样本添加结果集，迭代该环节成功思考介绍结果多样性的重排。但是，假设精排阶段没有较好的思考多样性，会造成送入重排阶段的多样性较差，进而影响了全体介绍系统的多样性。

为了处置上述疑问，本文提出了一种基于高低文消息的多样性蒸馏方法。该方法在精排模型中，以NMR的排序结果作为Teacher，将多样性消息蒸馏到精排模型中。因为NMR算法须要输入高低文消息，文中将一切精排候选当做高低文。同时，依据attention和anti-attention，从精排候选中采样和item关系及反抗的候选，丰盛高低文消息，并经过对比学习失掉两类item的embedding，输入MLP网络蒸馏NMR Teacher的多样性预测结果。

美团：搜查用意引入介绍模型

论文题目 ：Unified Dual-Intent Translation for Joint Modeling of Search and Recommendation

下载地址 ：

介绍系统相比搜查场景，一个外围难点是缺少像query那样的显示用户用意表白。本文提出应用搜查场景的用户、item历史搜查query，建模用户的query用意表征，相当于学习一个虚构的用户query，再将其表征运行到介绍系统中，优化介绍系统建模成果。

用户用意可以分为稳固用意和变动用意。针对这两类用意消息，文中构建了一个dual-intent转化表征学习方法。首先基于用户的历史搜查query和点击的item，构建异构图，图中节点是user或item，边是用户和item交互时搜查的query。关于query和user经常使用term embedding pooling以及引入user共性化门控等模式失掉query表征，并以用户实在搜查query的表征作为启动监视学习，以此作为用户的灵活用意。同时，经常使用GNN融合图上用户的临接节点消息，描写用户的固有用意。最后，联合用户交互item=用户静态用意+灵活用意的转化逻辑，建设表征优化的训练指标。这些搜查用意表征消息最后输入到介绍系统模型底层启动最终指标拟合。

本文转载自​​，作者：