1. 简称
论文《A Self-Attention Joint Model for Spoken Language Understanding in Situational Dialog Applications》，作者Mengyang Chen(ByteDance Corporation, China)，经典的NLU论文（Semantic Frame）。
2. 摘要
无
3. 引言
口语理解（SLU）是面向目标的对话系统中的重要组成部分。它通常涉及识别说话者的意图并从用户话语中提取语义槽位，这被称为意图检测（ID）和空位填充（SF）。表I展示了一个来自航空旅行信息系统（ATIS）语料库的示例。近年来，人们对SLU问题进行了深入研究。但是，这些方法只是在语法上限制了SF结果，独立地解决了ID和SF，或者没有充分利用两个任务的相互影响。本文提出了一个具有条件随机场（CRF）层和先验掩码的多头自注意力模型。实验表明，与最新模型相比，我们模型的有效性。同时，最近几年中国的在线教育取得了长足的进步。但是，很少有用于学生学习外语的智能教育对话应用程序。因此，我们设计了一个智能对话机器人，该机器人配备了不同的场景设置，可以帮助学生学习交流技能。
我们提出了一个联合模型，该模型使用多头局部自注意来提取共享特征，使用掩码门控机制来探索输出的相关性，并使用CRF来约束SF输出，以完美地解决该问题。
4. 核心
我们在本节中介绍我们的模型，概述为图一。第一层将输入序列映射成向量，通过把词级别嵌入
和从BI-LSTM中获取字级别的嵌入
连接起来。其中
是序列中单词索引。由于上下文信息（尤其是相邻单词）在序列标记中很有用，因此我们采用多头局部自注意来提取上下文感知特征
。局部上下文特征是
和注意力输出计算公式为：
其中和
是用于第
个词和第
个头的局部自注意力的第一层和第二层权重。Bi-LSTM层产生
，将其用于使用多层完全连接分类器对意图
进行分类。
在训练期间使用了交叉熵损失，并且意图标签对应于在预测期间给出最高概率的索引。
隐藏状态也被发送到类似的多头本地自我关注结构以生成。由于在不同意图下的槽分布是不同的，我们采用一个先验掩码，它是一个由意图
给出槽的条件概率分布。我们将掩码和意图输出相乘，将结果与
连接起来，最后放入一个CRF层去获取受约束的槽结果
，我们把
当做注意力的输出矩阵的得分。
表示第
个词的
标签的得分，我们定义得分函数为：
所有可能的标签序列上的softmax产生序列的概率。我们在训练过程中最大化正确标签序列的对数概率。解码时，对得分最高的输出序列进行预测。
5. 实验
为了评估所提出模型的效率，我们对ATIS和Snips数据集进行了实验，这些数据集被广泛用作SLU研究的基准。 ATIS包含预订机票的人的录音。片段是从个人语音助手收集的。插槽填充任务的性能由F1分数衡量，而意图检测任务则以预测精度进行评估。表II中列出了针对其他方法的模型结果。与最新方法相比，我们的方法在两个数据集上的ID分别提高了0.14％和0.49％，在SF中分别提高了0.02％和0.04％。
6. 实际应用
在过去的很长一段时间里，非英语母语的学生在语法或阅读理解上花费了太多的时间，以至于他们要么专注于言语影子，要么专注于简单的对话，而没有复杂的对话状态跟踪，从而不能帮助学生流利地表达和处理复杂场景下的对话。
为了帮助K12学生更好地处理旅行、购物和点餐等现实场景，我们设计了一个对话应用程序。该框架实际上是一个标准的面向目标的对话系统，如图4所示。首先，Agent采用前面讨论的SLU方法来分析学生的意图和槽值。其次，利用基于规则的对话跟踪技术记录会话状态变化，并做出相应的动作。最后，使用预定义的模板生成响应。
由于本文讨论的主题是SLU，为了方便起见，我们去掉了ASR和TTS模块，使用了一个简化的版本(实际使用的是百度语音API)。
图2显示了一个购物示例，图3是DST的伪代码和决策逻辑。
当学生不知道如何回应时，可以通过在APP中选择“帮助”来获取提示。
7. EVIDENCE OF POTENTIAL IMPACTS
教育是全世界人民都非常重视的领域。
相关研究表明，中国只有四分之一的学生可以进入本科学习，这远远少于发达国家。幸运的是，在过去的几年里，教育行业取得了很大的进步。2013年以来，中国K12市场规模增速保持在30%以上。然而，由于巨大的租金和教师工资成本，传统公司遇到了利润问题。他们将重点转向在线教育方案，其中CR4(四家公司集中率)低于5%，目前还没有大型公司存在。此外，中国还制定了政府计划，鼓励新兴市场力量进入这一领域。对于父母来说，他们高度重视英语学习，并愿意为加强孩子的口语和听力技能买单。然而，流行的应用，如VIPKID，主要集中在语音阴影上，不能完全满足他们的需求。事实上，学习外语的核心目标是在日常对话中流利地说和听。
只有几家公司专注于情景对话，他们只使用简单的逻辑来跟踪对话状态。换句话说，如果没有预定义的用户话语，对话将无法继续。学生们可能会对这样的模式感到厌倦。基于我们的方法设计的会话机器人提供了更大的交谈自由度，并跟踪不同意图和槽值之间的对话状态转换。
我们从北京当地中小学抽取了50名K12学生，进行了一项用户研究。他们中的大多数人认为这种模式很新鲜，并表现出极大的热情继续与机器人交谈。
这款应用目前正在进行内部测试，稍后将发布。
8. 概述
在本文中，我们提出了SLU任务的联合学习模型。执行局部自我注意和嵌入以提取句子特征，将其发送到双向LSTM以捕获单词之间的关系。然后，使用共享特征在面罩门控机制中执行意图分类和缝隙填充任务。此外，我们应用了CRF层来约束时隙的输出并获得合理的结果。我们还基于提出的SLU方法，基于规则的跟踪技能和基于模板的语言生成技能，设计了一种教育性APP，以帮助学生在实践中很好地说和听。此外，我们建立了几个常见场景对话的数据集。我们将继续扩大数据集并在以后发布。
9. 重点论文
- Zhang, Xiaodong, and Houfeng Wang. "A Joint Model of Intent Determination and Slot Filling for Spoken Language Understanding." IJCAI. 2016.
- Liu, Bing, and Ian Lane. "Attention-based recurrent neural network models for joint intent detection and slot filling." arXiv preprint arXiv:1609.01454 (2016).
- Goo, Chih-Wen, et al. "Slot-gated modeling for joint slot filling and intent prediction." Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers). Vol. 2. 2018.
- Li, Changliang, Liang Li, and Ji Qi. "A Self-Attentive Model with Gate Mechanism for Spoken Language Understanding." Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. 2018.
- Xu, Puyang, and Ruhi Sarikaya. "Convolutional neural network based triangular crf for joint intent detection and slot filling." 2013 IEEE Workshop on Automatic Speech Recognition and Understanding. IEEE, 2013.
10. 代码编写
# 后续追加代码分析
参考文献
- Chen, M., Zeng, J., & Lou, J. (2019). A Self-Attention Joint Model for Spoken Language Understanding in Situational Dialog Applications. CoRR.
