CIKM'21「華為」圖+推薦系統：比LightGCN更高效更有效的UltraGCN

PS:喜歡的小夥伴記得三連哦，感謝支持

更多內容可以關註公眾號：秋楓學習筆記

1. 背景

1.1 LightGCN的缺陷

\begin{aligned} e_{u}^{(l+1)} &=\frac{1}{d_{u}+1} e_{u}^{(l)}+\sum_{k \in \mathcal{N}(u)} \frac{1}{\sqrt{d_{u}+1} \sqrt{d_{k}+1}} e_{k}^{(l)} \\ e_{i}^{(l+1)} &=\frac{1}{d_{i}+1} e_{i}^{(l)}+\sum_{v \in \mathcal{N}(i)} \frac{1}{\sqrt{d_{v}+1} \sqrt{d_{i}+1}} e_{v}^{(l)} \end{aligned}\\

如上式所示為lightGCN的每一層的計算方式，它直接聚合這些節點而不采用可學習權重和啟用函數。其中u表示使用者，i表示item，N(u)表示使用者鄰接的item集合，N(i)表示item鄰接的user的集合，d表示節點的度。

如上圖所示，LightGCN是透過多層layer堆疊進行多層次的訊息傳遞，從而進行節點之間的聚合，最後將兩者的embedding求內積。但是這種 堆疊的方式 會影響基於GCN的推薦系統的訓練效率和效果。以第l 層為例，將上面lightgcn的定義中的item和user的embedding做內積可以計算得到下式，其中他u，v表示使用者；i，k表示item。從下式可以發現做完內積後，模型在多個維度上進行了建模，包括使用者-使用者，使用者-item，item-item。透過挖掘這些關系使得基於圖的協同過濾方法能夠起到好的效果。

\begin{array}{c} e_{u}^{(l+1)} \cdot e_{i}^{(l+1)}=\alpha_{u i}\left(e_{u}^{(l)} \cdot e_{i}^{(l)}\right)+\sum_{k \in \mathcal{N}(u)} \alpha_{i k}\left(e_{i}^{(l)} \cdot e_{k}^{(l)}\right)+ \\ \sum_{v \in \mathcal{N}(i)} \alpha_{u v}\left(e_{u}^{(l)} \cdot e_{v}^{(l)}\right)+\sum_{k \in \mathcal{N}(u)} \sum_{v \in \mathcal{N}(i)} \alpha_{k v}\left(e_{k}^{(l)} \cdot e_{v}^{(l)}\right) \end{array}\\

但是存在以下問題：

2. UltraGCN方法

UltraGCN總體框架如圖所示，是一個多工的形式，包含主損失和兩個輔助損失。

2.1 U