姓名：韩宜真

学号：17020120095

转载自：https://mp.weixin.qq.com/s?__biz=MzU5Mjc4MjIzOA==&mid=2247496702&idx=1&sn=bf3937a883a37adb856c47aa1725d2a7&chksm=fe18c50fc96f4c193590858fe7145c5016ee164ecd3a9ba65d03e6133932d8096609f8ddb82a&mpshare=1&scene=23&srcid=1216LHss9wsi3OANLqcdx6h2&sharer_sharetime=1608098272793&sharer_shareid=3f1a3081900d54d7638a82ca5b9e8a0d#rd

【嵌牛导读】本文介绍了用Pytorch实现Transformer一种方法。

【嵌牛鼻子】Transformer 平滑标签

【嵌牛提问】如何用Pytorch实现Transformer？

【嵌牛正文】

01 什么是Transformer？

Transformer最初是由Vaswani等人在一篇名为《Attention is All You Need》的开创性论文中提出。

其主要思想是，它们表明您不必使用循环或卷积层，并且简单的体系结构与注意力结合非常强大。它带来了更好的远程依赖关系建模，并且架构本身是非常可并行的，从而提高了计算效率！

简单架构如图：

02 理解Transformer

此文发表在Github上，对代码进行了很好的注释，并在playground.py中包括了一些可视化的概念，这些概念很难用单词来解释，但一旦可视化就非常简单。所以我们开始吧！

关注本公众号回复“transformer"，获取完整代码。

以下是文章具体内容：

位置编码

一眼就能解析出这个吗？

我也不能。

从playground.py我们运行visualize_positional_encodings()函数可以得到以下信息：

根据源/目标令牌的位置，您“pick one row of this image”，然后将其添加到嵌入向量中，就是这样。

他们也可以被学习，但是这样做显然更花哨！

定制学习率表

同样，您可以解析其中一个O(1)吗？

不行吗？所以我想，这里是可视化的：

现在超级容易理解。现在，这部分对于Transformer的成功是否至关重要？我对此表示怀疑。但这很酷，并使事情变得更复杂。（.set_sarcasm(True)）

标签平滑

第一次听到标签平滑理解起来很困难，但事实并非如此。通常，您将目标词汇分布设置为one-hot。表示30k中的1个位置设置为1，概率设置为0。

在标签平滑处理中，将0.9放到另一个位置上，而不是在该特定位置上放置1，然后将其余的“概率量”均匀地分布在其他位置上（在上面虚构的vocab中，图像上显示为不同的紫色阴影，大小4-因此是4列）

注意：Pad令牌的分布设置为全零，因为我们不希望模型预测这些零！

03 机器翻译

最初针对WMT-14数据集上的NMT（神经机器翻译）任务对Transformer进行了训练，以用于：

英语到德语的翻译任务（达到28.4 BLEU分数）

英语到法语的翻译任务（达到41.8 BLEU分数）

我现在做的是在IWSLT数据集上训练我的模型，该数据集对于英语-德语语言对来说要小得多，因为我会讲这些语言，因此调试更加容易。

我还将很快在WMT-14上训练我的模型。

讲了什么是Transformer，现在让我们开始运行这个东西！请执行以下步骤：

1.git clone https://github.com/gordicaleksa/pytorch-original-transformer

2.打开Anaconda控制台并导航到项目目录 cd path_to_repo

3.从项目目录运行conda env create（这将创建一个全新的conda环境）。

4.运行activate pytorch-transformer(用于从控制台运行脚本或在IDE中设置解释器）

就这些而已！它应该可以开箱即用地执行environment.yml文件来处理依赖项。我可能会花一些时间，因为我会自动下载英语和德语的SpaCy统计模型。

PyTorch pip软件包将与某些版本的CUDA / cuDNN捆绑在一起，但是强烈建议您事先安装系统范围的CUDA，主要是因为GPU驱动程序。我还建议使用Miniconda安装程序作为在系统上获取conda的方法。

04 用法

训练

要进行训练，请从开始training_script.py，这里有几个设置需要指定：

--batch_size

 -这对于将最大值设置为不会导致CUDA内存不足的最大值很重要

--dataset_name

-在IWSLT和WMT14之间选择（在添加多GPU支持之前，不建议WMT14 ）

--language_direction

-在E2G和G2E之间选择

因此（从控制台）运行的示例如下所示：

python training_script.py --batch_size 1500 --dataset_name IWSLT --language_direction G2E

该代码的注释很好，因此您可以了解训练本身的工作方式。

该脚本将：

将检查点* .pth模型转储到 models/checkpoints/

将最终的* .pth模型转储到 models/binaries/

下载IWSLT / WMT-14（首次运行并将其放在data/下）

将tensorboard数据转储到runs/中，只需从Anaconda运行tensorboard --logdir=runs

定期将一些训练元数据写入控制台

注意：torch text中的数据加载速度很慢，因此我实现了一个自定义包装器，该包装器添加了缓存机制，并使处理速度提高了约30倍！（第一次运行东西会很慢）

推论（翻译）

第二部分是关于使用模型并查看它们如何转换的全部内容！要获得一些翻译，请启动translation_script.py，您需要设置一些设置：

--source_sentence

 -根据您指定的型号，该名称应为英语/德语句子

--model_name

-预训练的模型名称之一：iwslt_e2g，iwslt_g2e或模型（*）

--dataset_name

-IWSLT如果模型是在IWSLT上训练的，则使其与模型保持同步

--language_direction

-如果模型经过训练可以将英语翻译成德语，请保持E2G同步

注意：训练模型后，会将其转储到其中，以models/binaries查看其名称，--model_name如果要出于转换目的使用它，则可以通过参数指定它。如果您指定了一些预训练的模型，则在您第一次运行翻译脚本时会自动下载它们。

评估NMT模型

训练时我追踪了3条曲线：

训练损失（KL偏差，批量平均值）

验证损失（KL差异，批量均值）

BLEU-4

BLEU是基于n-gram的度量标准，用于定量评估机器翻译模型的质量。我使用了很棒的nltkPython模块提供的BLEU-4指标。

目前的结果是，对模型进行了20个时期的训练（DE代表Deutch，即德语）：

模型BLEU分数数据集

27.8IWSLT值

33.2IWSLT值

Baseline Transformer（EN-DE）XWMT-14 VAL

Baseline Transformer（DE-EN）XWMT-14 VAL

我使用贪心解码得到了这些，所以这是一个悲观的估计。

重要说明：初始化对于变压器非常重要！最初，我认为使用Xavier初始化的其他实现又是那些任意启发式方法之一，并且PyTorch默认初始化将起作用-我错了：

您可以在这里看到3次运行，其中较低的2次使用PyTorch默认初始化（一次用于meanKL散度损失，更好的一次使用batchmean），而较高的一次使用Xavier统一初始化！

想法：您可能还可能会定期转储翻译，以供参考句子的源句子使用。这将使您对Transformer的运行情况有定性的了解，尽管我没有这样做。当您像GAN和NST领域那样难以定量评估模型时，也会执行类似的操作。

使用Tensorboard进行跟踪

上图是我的Azure ML运行的一个片段，但是当我在本地运行东西时，我使用Tensorboard。

只需tensorboard --logdir=runs从Anaconda控制台运行，您就可以在训练期间跟踪指标。

可视化注意力

您可以使用translation_script.py并将其设置--visualize_attention为True，以进一步了解源句和目标句中模型“paying attention to”的内容。

这是我对输入句子的注意力 Ich bin ein guter Mensch, denke ich.

这些属于编码器的第6层。您可以看到所有8个多头注意力头。

这个属于自动注意力解码器MHA（多头注意力）模块的解码器第6层。您会注意到一个有趣的三角形图案，它来自目标令牌不能向前看的事实！

MHA模块的第三种类型是源代码，它看起来与您看到的编码器图相似。随意按照自己的节奏玩！

注意：此模型显然存在一些偏差问题，但在这里我不会进行分析