1,Going beyond zero-shot MT: combining phonological, morphological and semantic factors
本文将多语种词汇的多种特征融入到NMT编码器的embedding信息中,特征包括语言语义标注信息、词性信息、Lemma、Stem,近似的发音编码、Babel Synset同义词信息、toptic信息。文中详细分析了多语种语料特征,相比拉丁语系(ro\it\es\gr),日耳曼语系(en\de\nl)共享更多的词汇。本文NMT系统采用Nematus工具,在训练语料源句子加上<2trg>标签,源语言词汇的表征是其所有特征的合并。从结果来看,所有特征融合在smalldata上可以提升0.7个bleu。
2,The Samsung and University of Edinburgh’s submission to IWSLT17
本文系统只参加了双语翻译任务,en-de,使用Nematus工具。IWSLT提供了大量的平行训练语料,本文使用句子对齐和语言识别来清洗和过滤语料。句子对齐:使用NMT系统自动翻译原文本,使用翻译结果和目标文本的bleu值左右预测对齐概率的一个特征。具体是训练一个PSMT系统来清除不合适的短语,然后把德语翻译成英语,最后使用句子对齐工具来处理每一个平行句对。本文选择3K句子进行人工打分,然后训练模型根据句子对齐分数预测人工分数,然后使用回归模型应用与整个语料,挑选出得分比较高的句子。反向翻译语料是使用NMT翻译单语语料来构成平行语料。最终用来训练的语料包括允许、过滤的平行语料、过采样的域内数据和反向翻译的数据。通过调参和finetuning之后,效果总体提升5个bleu。
3,FBK’s Multilingual Neural Machine Translation System for IWSLT 2017
本文参与multilingual和zero-shot任务,系统使用many2many训练方法。本文使用OpenNMT工具,encoder和decoder各4层网络。本文做了以下对比试验,multilingual model和Single Pair model,multilingual model和zero-shot,zero-shot和pivoting。从实验结果来看,单个multilingual model效果好于Single Pair model,Zero-shot model proved效果要好于Single Pair model pivoting。
4,KIT’s Multilingual Neural Machine Translation systems for IWSLT 2017
本文将NMT网络结构分成五个主要的组成单元:embedding layers, encoders, decoders, attention and output layers。本文研究了对于multilingual任务,哪些单元可以共享。数据处理:句子长度超过50,句对长度差异较大的句子被清除,特殊的日期、数字和符号进行归一化,使用Smartcasing,BPE词典大小为40K。embedding layers和output layers不共享,smal data上,share-rnn效果好于share-all0.7个bleu,large data上两者效果一致。