CIKM'21「华为」图+推荐系统：比LightGCN更高效更有效的UltraGCN

PS:喜欢的小伙伴记得三连哦，感谢支持

更多内容可以关注公众号：秋枫学习笔记

1. 背景

1.1 LightGCN的缺陷

\begin{aligned} e_{u}^{(l+1)} &=\frac{1}{d_{u}+1} e_{u}^{(l)}+\sum_{k \in \mathcal{N}(u)} \frac{1}{\sqrt{d_{u}+1} \sqrt{d_{k}+1}} e_{k}^{(l)} \\ e_{i}^{(l+1)} &=\frac{1}{d_{i}+1} e_{i}^{(l)}+\sum_{v \in \mathcal{N}(i)} \frac{1}{\sqrt{d_{v}+1} \sqrt{d_{i}+1}} e_{v}^{(l)} \end{aligned}\\

如上式所示为lightGCN的每一层的计算方式，它直接聚合这些节点而不采用可学习权重和激活函数。其中u表示用户，i表示item，N(u)表示用户邻接的item集合，N(i)表示item邻接的user的集合，d表示节点的度。

如上图所示，LightGCN是通过多层layer堆叠进行多层次的消息传递，从而进行节点之间的聚合，最后将两者的embedding求内积。但是这种 堆叠的方式 会影响基于GCN的推荐系统的训练效率和效果。以第l 层为例，将上面lightgcn的定义中的item和user的embedding做内积可以计算得到下式，其中他u，v表示用户；i，k表示item。从下式可以发现做完内积后，模型在多个维度上进行了建模，包括用户-用户，用户-item，item-item。通过挖掘这些关系使得基于图的协同过滤方法能够起到好的效果。

\begin{array}{c} e_{u}^{(l+1)} \cdot e_{i}^{(l+1)}=\alpha_{u i}\left(e_{u}^{(l)} \cdot e_{i}^{(l)}\right)+\sum_{k \in \mathcal{N}(u)} \alpha_{i k}\left(e_{i}^{(l)} \cdot e_{k}^{(l)}\right)+ \\ \sum_{v \in \mathcal{N}(i)} \alpha_{u v}\left(e_{u}^{(l)} \cdot e_{v}^{(l)}\right)+\sum_{k \in \mathcal{N}(u)} \sum_{v \in \mathcal{N}(i)} \alpha_{k v}\left(e_{k}^{(l)} \cdot e_{v}^{(l)}\right) \end{array}\\

但是存在以下问题：

2. UltraGCN方法

UltraGCN总体框架如图所示，是一个多任务的形式，包含主损失和两个辅助损失。

2.1 U