本文仅是翻译（翻译的准确度有待商榷），并非个人所写，文中涉及的“我”为文章作者，并非本人。

来源（转载）：http : //konukoii.com/blog/2018/02/19/twitter-sentiment-analysis-using-combined-lstm-cnn-models/

说明：近期在看机器学习相关论文以及论文相关程序（GitHub），相关个人博客均为英语，因为没有习惯于英文文献的阅读，这使自己在阅读过程中，感觉有些“别扭”，虽然谷歌浏览器可以自动翻译，但是这对以后阅读英文文献存在太多弊端，所以在此先进行为期一个月的翻译练习每日打卡！

2018年2月19日 计算机科学

基于 LSTM-CNN结合模型的Twitter情感分析

一年之前，“我”写过有关神经网络课程的论文，“我”没有发表。我决定从我大部分黑客帖子中休息一下，谈一谈机器学习。这篇论文是我做的一些工作的延续，（在过去的文章中已经概述过）关于Twitter数据的情感分析。（如果你是神经网络的新手，我建议看看那篇文章）
这是我撰写的[研究论文]简化版，如果您想要了解更多细节，请随时查看。如果您只关注实现，请查看“我”的Github project

动机

Twitter现在是一个托管约3.5亿活跃用户的平台。每天发布5亿条推文！它已成为公司／组织与其客户之间的直接联系，并且正在被用于建立品牌，了解客户需求并更好的与他们沟通。从数据科学家的角度来看，Twitter是一个金矿，可以用于衡量消费者对品牌的感受。
在这个项目中，我个人的利益来源与我的好奇心，为了更好的理解神经网络，尤其是CNN与LSTM。 在先前的课程中，我创建了一个简单的前馈神经网络去解决这个问题。然而，我知道当利用更加专业的网络时候，我的结果实质上可以更好。

直觉：为什么CNN 和 LSTM?

在开始之前，对这些网络进行简要介绍，并简要分析为什么我认为他们是我的情感分析任务受益。

CNNs

卷积神经网络是最初为图片任务创建的网络，可以学习捕捉特定的特征而不管局部特征。举一个更具体的例子，假设我们使用CNN来区分Cars和Dogs的照片。由于CNN学习捕捉特征而不管这些特征在哪里，CNN将会知道车有轮子，并且每次看到车轮时，无论它在图片的那个位置，该特征将会被激活。
在我们特定的情况下，CNN可以捕捉一个消极的短语，例如“不喜欢”
而不管它在推文发生的什么位置。

• 我不喜欢这些类型的电影
• 那一件事情我真的不喜欢

• 我看过这个电影，但是不喜欢它的结局。

  
  
  来源:wildml.com

LSTMs

长短期记忆(LSTM) 是一种网络，具有记忆来自输入的先前数据并基于该知识作出决定的存储器。这些网络更直接适用与书面数据的输入。因为在句子中的每一个单词都有基于周围的单词的含义（先前和即将出现的单词）。
在我们的具体情况中，LSTM有可能让我们能够在推文中捕捉到不断变化的情绪。例如，一个句子，例如：“At first I loved it, but then I ended up hating it.” 有相矛盾的观点，最终会导致简单的前馈网络混淆。另一方面，LSTM可以得知，在句子结尾处表达的意思比一开始表达的意思更重要。

来源：colah.github.io

Twitter 数据

用于此特定实验的Twitter数据是两个数据集的混合。

• 密歇根大学Kaggle竞赛数据集。

• Neik Sanders Twitter情感分析语料库。
  这些数据集一共包括1578627个带标签的推文。

CNN-LSTM 模型

第一个尝试的模型是CNN-LSTM 模型，我们的CNN-LSTM 模型结合由初始的卷积层组成，这将接收word embedding（对文档中每个不同的单词都得到一个对应的向量）作为输入。然后将其输出汇集到一个较小的尺寸，然后输入到LSTM层。隐藏在这个模型后面的直觉是卷积层将提取局部特征，然后LSTM层将能够使用所述特征的排序来了解输入的文本排序。实际上，这个模型并不像我们提出的其他LSTM-CNN模型那么强大。

cnn-lstm

LSTM-CNN 模型

我们的LSTM-CNN 模型由一个初始LSTM层构成，它将接收 tweet中每一个令牌的word embedding作为输入。直觉是它输出的令牌不仅仅存储初始令牌的信息，而且还存储任何先前的令牌。换句话说，LSTM层正在为原始输入生成一个新的编码。然后将LSTM层的输出紧接着输入到我们期望可以提取局部特征卷积层中。最后卷积层的输出将被汇集到一个较小的纬度，最终输出为正或负标签。

lstm-cnn

结果

我们设置了实验，使用10000条推文的训练集，2500条带有标签的推文的测试集。这些训练与测试集包括同等数量的正面与负面推文。我们重复做5次测试并报告这些测试的平均结果。
我们使用了以下通过手工测试进行微调的参数：

params

以下是我们准确的结果：

results

另一方面，LSTM-CNN模型似乎是最好的，因为初始的LSTM看起来像一个编辑器，因此对于输入中的每个标记都有一个输出标记，其中不仅包含原始标记的信息，而且还包含输出标记所有其他以前的令牌。之后，CNN层将使用原始输入的更丰富的表示来查找局部图案，从而获得更好的准确性。

进一步观察

我在测试过程中所做的一些观察（以及在论文中更详细地解释）：

学习率

与LSTM和LSTM-CNN模型相反，CNN 和CNN-LSTM模型需要更多的epoch去学习和快速减少过拟合。

epochs

Drop Rates

这并不令人意外，但我注意到在CNN-LSTM和LSTM-CNN模型中的任何卷积层之后添加Dropout层是非常重要的。

dropout

预训练的Word Embeddings

我尝试使用预训练的Word Embeddings，而不是让系统从我们的数据中学习Word Embeddings，令人惊讶的是使用预训练的GloVe Word Embeddings会降低准确度。我认为这个事实可能因为tweet数据包含大量的错误拼写，表情，@，并且一些专业的推文不规则的文本在建立GloVe Embeddings 没有进行考虑。

embeddings

结论与未来工作

未来工作的目标，我经测试其他类型的LSTM(例如 Bi-LSTM),并查看它对我们系统的准确性有何影响。找到更好的方法来处理在twitter语言中发现的拼写错误或其他违规行为也很有趣。我相信这可以通过构建Twitter特定的词嵌入来实现。最后，使用Twitter的特定功能（如转发，喜欢等）来提供文本数据会很有趣。

个人而言，这个项目主要是为了进一步理解CNN和LSTM模型，并尝试使用Tensorflow。此外，我很高兴看到这两个模型比我们以前的（简单的）尝试做得更好。

与往常一样，源代码和论文可以公开获取：论文和代码。如果您有任何疑问或意见，请随时与我们联系。快乐的编码！🙂

好好学习，天天向上！今天也是。