IWSLT 2017
介绍
三个官方任务：
多语种文本翻译 multiligual text translation of TED talks（zero-shot）
对话的文本翻译text translation of dialogues
语音识别ASR
非官方任务：
双语种翻译
允许训练数据
机器翻译系统：
参与者可以使用任何其他语言资源，只要它不包括这些TED谈话; 任何使用组织者明确列出的额外数据都必须在系统文件中明确说明，并在提交文件中进行沟通：这些将被标记为不受约束的训练
Multilingual Task
多语种任务在文本翻译方向上包括zero-shot，即使用一个翻译系统翻译所有的方向包括英语，德语，荷兰语，意大利语和罗马尼亚语，作为非官方的任务，传统的英文和阿拉伯文，法文，日文，中文，德文和韩文的双语文本翻译。
语言方向
多语种任务（官方）：{
英文，荷兰文，德文，意大利文，罗马尼亚文 }（任何一对）
双语任务（非官方）：英文 < - > { 阿拉伯文，法文，日文，中文，德文，韩文}
评测阿拉伯文，日文，韩文和中文的规则处理：
阿拉伯语：阿拉伯语文本需要在得分前归一化。我们将通过可下载的QCRI阿拉伯语标准化程序3.0来处理参考和提交的运行：http://alt.qcri.org/tools/arabic-nor
日语：通过下面的方式处理：
http://ntcir.nii.ac.jp/PatentMT-2/AutomaticEvaluationProcedure/
Mecab version0.996
Dictionary forMecab: mecab-ipadic-2.7.0-20070801.tar.gz
[if !supportLists]· [endif]韩文：韩文文本也通过Mecab处理：朝鲜的Mecab，版本0.996
[if !supportLists]· [endif]中文：中文文本在字符级别进行评估; 在评估之前，文本是通过这个脚本来处理的， 这个脚本分割了汉字的序列，但是保留了非汉字的序列
多语言任务的评估条件
Small data：允许的数据只是域内的训练和开发集数据
Zero-shot：与small
data条件相同，但有以下附加限制
训练集和开发集排除 nl-de，de-nl，it-ro和ro-it方向
从其他语种合成的语料可以作为对比条件
Large data：除了域内数据，这里列出的任何语言资源都可以用来建立MT系统
域内训练集和开发集
Multilingual Task:an archive with training/dev
sets for any language pair can be downloaded from the WIT3 website
Bilingual Task:archives for
each language pair can be downloaded from the WIT3 website
评估数据
输入格式：NIST XML格式，带标点的区分大小写的源文本
输出格式：NIST
XML格式，带标点符号的区分大小写的翻译
文本编码：UTF8
多语种任务：tst2017将包括英语，德语，荷兰语，意大利语和罗马尼亚语的TED会谈，必须从同一组语言翻译成任何不同的语言（共20对）
评估过程
区分大小写的BLEU和NIST分数是使用NIST脚本mteval-v13a.pl计算的，而区分大小写的TER分数则使用tercom.7.25.jar
两个分数一起使用
在线评估服务器可用于对开发集上的系统进行评分
