Google/MicroSoft/Amazon翻译质量评估报告

当前平台提供的翻译服务主要由两家供应商Google及MicroSoft提供，但二者各有缺陷：MicroSoft服务会间歇性异常导致服务不可用；而Google价格高昂。鉴于此，平台计划引入Amazon翻译服务，平衡二者的缺陷。

在正式接入Amazon翻译之前，平台借助本地化部门对三家服务商做了一次单盲测试，以评估各服务商对七大主要语种（简体中文、法语、德语、西班牙语、俄语、日语、韩语）的翻译质量。得分以3分最高、1分最低，标准如下：

3分：意思正确，语句通顺

2分：基本正确，贴近自然语言

1分：不知所云

该评分标准除了可以区分翻译结果的相对高低，也能反应各服务商翻译各语种的真实水平。

经人工评判后的各语言对的得分结果取加权值，计算公式为：

$权重 = {\sum_{i=1}^n {权重分*计数} \over {\sum_{i=1}^n 计数}}$

所的分数的范围即为[1,3]。基于不同供应商对不同语种翻译质量层次不齐的考虑，以下分别列出各语言对的平分结果。

1.英文 ——> 简体中文（翻译语料：3000L）

供应商/得分	1	2	3	加权值
Google	1281	1032	687	1.802
MicroSoft	1547	887	566	1.673
Amazon	1682	880	438	1.585

2.英文 ——> 法语（翻译语料：4118L）

供应商/得分	1	2	3	加权值
Google	1146	2646	326	1.801
MicroSoft	1344	2426	348	1.758
Amazon	1221	2541	356	1.790

3.英文 ——> 德语（翻译语料：3100L）

供应商/得分	1	2	3	加权值
Google	638	736	1868	2.379
MicroSoft	1007	880	1355	2.107
Amazon	760	953	1528	2.237

4.英文 ——> 西班牙语（翻译语料：3000L）

供应商/得分	1	2	3	加权值
Google	139	1139	1682	2.521
MicroSoft	223	1441	1295	2.362
Amazon	210	1357	1389	2.399

5.英文 ——> 俄语（翻译语料：3000L）

供应商/得分	1	2	3	加权值
Google	2038	503	467	1.478
MicroSoft	2453	308	248	1.267
Amazon	2197	438	372	1.393

6.英文 ——> 日语（翻译语料：2600L）

供应商/得分	1	2	3	加权值
Google	208	920	1471	2.486
MicroSoft	231	984	1384	2.443
Amazon	220	958	1421	2.462

7.英文 ——> 韩语（翻译语料：3000L）

供应商/得分	1	2	3	加权值
Google	1647	780	572	1.642
MicroSoft	1800	698	501	1.567
Amazon	1681	747	570	1.629

综合针对三家供应商对以上各语种的表现，可以发现三家的翻译质量排序：Google > Amazon > MicroSoft，具体分值见翻译质量评估表。

三家对各语言的翻译质量上整体比较相近，其中在英语翻译为德语、西班牙语、韩语时整体表现优于其他语言。