基于矩阵分解的图算法

基于矩阵分解

快速简洁，但属性信息与结构信息的融合比较困难。

1. Skip-Gram with Negative Sampling (SGNS)

损失函数

将中心词 $w$ 与上下文 $c$ 的共现概率用sigmoid表示为
$\delta(\vec{w}^T\vec{c}) = \frac{1}{1+e^{-\vec{w}^T\vec{c}}}$
随机抽取k个负样本，则损失函数可写为
$L = -\sum_w \sum_c d(w,c)\left[ \log(\delta(\vec{w}^T\vec{c}))+k\mathbb{E_{c_n \sim P_D}}\log(\delta(-\vec{w}^T\vec{c_n})) \right]$

使用 $d(c)$ 表示语料中包含上下文 $c$ 的组合数量， $D$ 表示语料中所有 $(w,c)$ 组合对的集合， $c_n$ 为采样到的上下文向量，服从分布 $P_D=\frac{d(c)}{|D|}$ 。

负样本损失表示为 $\delta(-\vec{w}^T\vec{c})$ 有利于后续推导。

等价于SPMI的分解

对 $L$ 中的 $(w,c)$ 进行合并同类项，得到

$L(w,c) = d(w,c)\log(\delta(\vec{w}^T\vec{c}))+kd(w)\frac{d(c)}{|D|}\log(\delta(-\vec{w}^T\vec{c}))$
对 $x=\vec{w}^T\vec{c}$ 求导等零，得
$x=\vec{w}^T\vec{c}=\log(\frac{|D|d(w,c)}{d(w)d(c)})-\log(k)$
正好是逐点互信息(Pointwise Mutual Information)矩阵漂移Shifted了 $log(k)$ ，即SPMI。

PMI中元素为 $PMI(x,y)=\log\frac{P(x,y)}{P(x)P(y)}$ 。

PMI矩阵中的无关向量为 $-\infty$ ，可以规定只要positive，得到PPMI，即 $PPMI=max(PMI,0)$ 。

两者结合，得SPPMI(Shifted Positive PMI)矩阵，即 $SPPMI_k(w,c)=max(PMI(w,c)-log(k),0)$ 。

这里证明为了方便，只在两个节点之间进行了化简和推导，其中softmax退化为了sigmiod。

同样可以证明，基于Hierarchical Softmax的Skip-Gram分解的矩阵是
$M_{wc} = \log(\frac{d(w,c)}{d(w)})$

中心词向量 $\vec{w}$ 矩阵 $W=[\vec{w_1},\vec{w_2}...]$ ，上下文向量 $\vec{c}$ 矩阵 $C=[\vec{c_1},\vec{c_2}...]$ ，记SPMI为 $A$ ，则分解任务为
$A_{n \times n} = W_{d \times n}^TC_{d \times n}$
加上正则项后，优化目标为
$L = ||A-W^TC||_F^2 + \frac{1}{2}(||W||_F^2+||C||_F^2)$

2. DeepWalk

DeepWalk

从每个节点出发n_walks次，每次均匀采样连接节点，延申长度达walk_length后停止一次游走，生成一个序列。对采样的序列，使用word2vec的skip-gram直接训练。

Node2Vec

改进游走方式，以便相似节点和同一社区节点更接近。

广度优先策略，使同一社区节点更接近；
深度优先策略，使不通社区内的相似节点更接近。

假设已由 $t$ 走到 $v$ ，下一个节点用 $x$ 表示，则游走方向由下式控制
$a_{pq}(t,x) = \begin{cases} \frac{1}{p} & d_{tx}=0\\ 1 & d_{tx}=1\\ \frac{1}{q} & d_{tx}=2 \end{cases}$
其中 $d_{tx}$ 表示从 $t$ 到 $x$ 的最短路径长度。同时可以考虑边权重。

3. Text-Associated DeepWalk (TADW)

DeepWalk的本质是在近似重建 $t$ 步共现概率矩阵。结合Hierarchical Softmax的Skip-Gram分解的矩阵
$M_{wc} = \log(a_{wc}) \\ a_{wc} = \frac{d(w,c)}{d(w) }$
我们只需要找到 $a_{wc}$ 的合理表达，即可直接通过矩阵分解解决问题。

对DeepWalk，假设只走1步，不妨设为 $w$ 到 $c$ ，则两点共现的条件概率应为 $a_{wc}=1/d_w$ ， $d_w$ 为节点 $w$ 的出度。我们将对应的标准化的邻接矩阵记为 $A$ 。与PageRank所使用的矩阵一致。

于是 $t$ 步共现概率矩阵和要分解的矩阵是
$\hat{A}=(A+A^2+...+A^t)/t \\ M = \log(\hat{A})$
相应的损失函数为
$L = ||M-W^TC||_F^2 + \frac{1}{2}(||W||_F^2+||C||_F^2)$
融合属性矩阵 $S$ 则为
$L = ||M-W^TCS^T||_F^2 + \frac{1}{2}(||W||_F^2+||C||_F^2)$

4. Accelerated Attributed Network Embedding (AANE)

使用各节点属性构建余弦相似度矩阵 $S$ ，分解为 $HH^T$ ，而具有相邻关系的节点对应隐变量 $h$ 也应该接近

$L = ||S-HH^T||_F^2+\lambda \sum_{(i,j)\in E} w_{ij} ||h_i-h_j||_2$

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 204,590评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 86,808评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 151,151评论 0赞 337
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,779评论 1赞 277
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,773评论 5赞 367
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,656评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,022评论 3赞 398
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,678评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 41,038评论 1赞 299
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,659评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,756评论 1赞 330
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,411评论 4赞 321
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,005评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,973评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,203评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 45,053评论 2赞 350
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,495评论 2赞 343

基于矩阵分解的图算法