<Paper Reading Series>
本文基于Facebook 2018-ICLR的文章：WORD TRANSLATION WITHOUT PARALLEL DATA
文本中提出了无监督的跨语言词对齐MUSE框架
- 研究背景
- 前人的解决方式
- 模型核心思想
- 具体实现细节
研究背景
TODO
前人的解决方式
TODO
模型核心思想
这篇文章提出了一种无监督的双语单词对齐的方法，主题思想是用一个线性的映射矩阵W将源语言的embedding投影到目标语言中。大致思路是先用对抗学习的思路学得一个大致的映射矩阵W（大致的意思是 在高频词上映射矩阵的准确率是不错的，但是低频词上表现不好），因此，我们需要对其进行优化。
优化的方式是通过选取一些高频词，以及它在目标语言中的“最近邻”的词，形成高质量的双语语料。从而进行精调（原文为Refine）。
总体思路
具体实现细节
-
对抗训练获得粗粒度的映射矩阵W
对抗训练的方法来源于GAN，即generator和discriminator两个组件分别负责混淆和辨别任务。具体来说就是训练一个discriminator来区分WX和Y，这个discriminator的目标函数是最小化
loss of discriminator
generator（即M）目标是尽可能欺骗discriminator，使之不能区分出一个representation是直接从Y中采样得来的，还是从X采样然后映射得来的：
loss of generator
2.Refine细节
获得粗粒度的映射矩阵W后，我个人的理解是：在高频词的映射上准确率是不错的，但是低频词上表现不好。因此我们对映射矩阵W进行精调（refine）。
W矩阵的计算
首先对于W矩阵的计算，这实际上是一个Procrustes问题。我们进行奇异值分解得到一个近似值。（详情可查奇异值分解降维）
考虑到一些低频词汇词向量可能学得不充分，作者选取了一些高频词，以及它在另一种语言中的“最近邻”的词，形成高质量的双语语料。从而获得精调后的W。
3.最近邻词的选择度量
最基本的想法是直接计算cosine相似度来选取最近邻词。但这会导致hubness现象：有些词(称为hubness)是很多词的最近邻点，而有些词（anti-hubness）却不是任何点的最近邻点。为了惩罚这些hubness，作者定义了如下CSLS距离：
其中
rT表示Wx在目标语言最相近的K个词的cos相似度的平均值，rS代表y在源语言最相近的K个词的cos相似度的平均值。
PS：部分资料参考
