<Paper Reading Series>

本文基于2017-ACL的文章：Weakly Supervised Cross-Lingual Named Entity Recognition via Effective Annotation and Representation Projection

• 研究背景
• 前人的解决方式
• 模型核心思想
• 具体实现细节
• 实验结果
• 结论

研究背景

对一个新的语种来说，获取大量带标签数据，来进行有监督训练代价太大，因此如何从已经训练好（或有大量标注数据）的源语言迁移到一个新的语言，使模型在新语言上也能有一个比较decent的表现，同时还不需要人力去标注，成为了所要应对的挑战。

前人的解决方式

前人的研究主要从两个方面解决上面提到的问题：

• 基于标注数据的迁移
  1. 通过标注工程（annotation projection）：对齐平行语料（aligned parallel corpora）或翻译（translation）
  2. 通过Wikipedia的text和structure获取弱标签跨语言数据
• 基于模型的迁移
  利用源语言的标注数据训练一个NER模型，模型所提取的特征都是与语种无关的，所以这个模型可以应用于其他语言。

The basic idea is to train a single NER system in the source language with language independent features, so the system can be applied to other languages using those universal features.

模型核心思想

• 提出了基于标注数据的迁移方法的优化：
  通过comparable corpora进行源语言和目标语言标注数据的映射（同前人的方法一样），即根据对齐信息，通过source language的(x1,x2,x3...xn)->(l1,l2,l3...ln)的标签数据映射为target language的(y1,y2,y3...yn)->(l'1,l'2,l'3...l'n)标签数据，由此，目标语言也有了标签数据，可以进行有监督学习。所以这个方法的准确性取决于两点：源语言NER模型的准确性和对齐语料的准确性。但由于对齐语料不可避免的会有一些噪声的问题，模型准确率一定会受很大影响。
  对此，作者进行了优化，即创建了一个language-independent data selection scheme来通过概率统计选择更有质量的对齐数据进行迁移，过滤掉低质量的对齐数据。
• 提出了基于模型的迁移方法的优化：
  训练一个源语言的NER模型，然后构建一个目标语言和源语言的embedding层的映射机制，这样其他语言可以采用这个机制映射为源语言的embedding，然后直接使用训练好的NER模型进行识别即可。

具体实现细节

• 对于基于标注数据的迁移方法的优化：
  data selection scheme的实现：
  <design a metric to measure the annotation quality of a projection-labeled sentence in the target languages.
  通过标注数据的迁移后，我们建立一个frequency table，存放目标语言的标签数据中每个识别出的entity所对应的每个NER tag占这个entity所有NER tag的比例。

  
  
  A snapshot of the frequency table
  
  

  直觉上来看如果这个概率越大，说明这个entity对应的tag出现的次数越多，越有可能这个基于对齐语料迁移过来的标注数据是正确的。概率过小的我们可以认为这条标注数据是噪音。
  因此对于target language中的一个sentence，我们都能计算出一个quality的值，用来表示这个句子的迁移过来的标注数据的质量。

  
  
  对于每个句子的度量
  
  因此我们再设置两个超参数q和n，作为阈值，sentence的quality值超过q且sentence的entity数量超过n，这样的sentence才用来训练target language上的NER模型。
• 基于模型的迁移
  训练一个源语言的NER模型，然后构建一个目标语言和源语言的embedding层的映射机制，这样其他语言可以采用这个机制映射为源语言的embedding，然后直接使用训练好的NER模型进行识别即可。整个过程和基于标注数据的迁移相比只需要一次NER。
  从对齐语料中提取一部分源语言和目标语言的数据，这条数据包含一个三元组（x_i, j_i, w_i）,x_i表示源语言数据的单词，y_i表示目标语言数据的单词，w_i=P(x_i|y_i)表示整个词组空间中
  x_i和y_i的条件概率。对于提取出的这部分数据，我们通过加权最小二乘法求得一个从源语言到目标语言的线性映射，使得两个语言关于对齐词的词向量平均差异最小。
  
  求线性映射
  
  求出这个线性映射值后，就可以将目标语言的词向量映射到源语言的词向量空间中，然后用源语言训练好的NER模型进行分类。
• Co-Decoding架构
  模型最后还加入了一个Co-Decoding架构，把前面两种方式的结果进行组合。根据实验观察，基于标注数据的迁移方法（后文中用method1代指）具有precision高，recall低的特点，而基于模型的迁移方法（后文中用method2代指）这两个值更均衡一些，因此两个输出的组合策略为：采纳所有method1的输出，并添加method2的输出中与method1不冲突的输出（即冲突发生时，采纳method1的结果）。

实验结果

TODO

结论

TODO