论文笔记—LSTM-based Anomaly Detection on Big Data for Smart Factory Monitoring 

基于lstm的智能工厂监控大数据异常检测

本文提出了一种基于大数据的机器学习方法来分析时间序列数据，用于工业复杂系统的异常检测。长短时记忆(LSTM)网络已被证明是RNN的改进版本，并已成为许多任务的有效辅助。基于LSTM的模型学习了更高层次的时间特征和时间模式，然后利用预测器对未来的数据进行预测。预测误差是预测器的预测输出与实际输入值的差值。利用高斯分布建立了误差分布估计模型，计算了观测值的异常值。这样，我们就从单一异常的概念过渡到集体异常的概念。该工作可以协助智能工厂的监控和管理，将故障最小化，提高制造质量.

Ⅰ. Introduction

为充分利用信息技术、电气电子技术以及先进制造技术的快速发展优势，政府作为工业4.0[1]的名称，一直在研究将制造企业的生产方式从数字化向智能化转变的资源。这种情况导致在复杂系统中占主导地位，其中有成百上千的工业部件，子系统在复杂的连接中一起工作。结果，来自工业过程的监控数据量、智能工厂的[2]不断增加。这就需要一个智能系统来让管理人员对这些收集到的数据进行心理处理，从而发现工厂中整个组件的事件或运行状态。大数据与运营技术战略的结合运用，目前正在揭示包括转型过程、资产健康、能源、安全、监管和质量改进在内的商业洞见。与大数据分析一样，最大的挑战之一就是以可伸缩、可靠和一致的方式收集数据。我们将在下一节介绍Hadoop提供的支持流、存储和查询的可用工具大数据框架。

近年来，基于计算机、网络数据通信和图形用户界面的工业过程监控与数据采集(SCADA)系统对工业过程进行监控，实现了对工业过程的高层次监控管理，使工业过程监控变得越来越复杂。这使得实时做出正确决策的过程变得非常困难和更具挑战性。多年来，许多制造系统集成了使用传感器进行大数据流传输的SCADA系统。这些数据集包含有关此类系统状态的有用线索和信息。因此，我们应该有效地利用这一资源进行监测系统和实时异常识别和检测。工业过程、电力工业、配水和炼油厂等需要连续监测和控制的使用控制和数据采集(SCADA)系统的几个例子。他们中的许多人控制着国家的关键部件，如核能发电、公共交通、污水处理厂等。我们证明了智能系统的管理和维护是棘手的，因此我们需要一个高效的流程，涵盖实时信息传输、分析和决策框架，并有大数据分析的潜在支持。这是本文的主要目的，旨在进行异常识别和及时报警。此外，我们希望利用现代机器学习技术，生成关于系统中发生异常的知识，即时发出警告/报警。换句话说，我们正在尝试自动化实时/接近实时的情况分析。

针对这一问题，研究目标是受时间驱动的，采用基于机器学习的方法处理序列数据是有意义的。请记住，机器学习(ML)应该是现代工业信息与控制系统[2]的核心部件之一。本研究工作将探索复杂系统中子系统退化状态的隐式信息，识别运行过程中的异常事件，实现实时维护规划程序[5]。实时维护对于节约成本和提高设备的可用性非常有用。在现实世界中，诸如发动机、工业子系统、可操作部件等机械设备通常由各种物理传感器来记录目标的行为和状态。根据监测信号，专家可以确定当前的状态和他们的健康程度。例如，我们分析来自传感器内置智能工厂的信号，以识别出哪里出了问题，需要更换和修复。对于运行过程中的监控状态，我们希望能够区分所考虑的系统[1]的正常状态和异常状态。通常，异常检测是不符合给定数据集的期望模式的数据点、模式、观察或事件的标识。使用异常检测系统对行为分析非常有帮助，或支持其他类型的分析，如检测、识别和预测这些异常的发生。然而，在许多情况下，正常数据并不总是能够与正常数据进行比较，因此基于正常信号的异常检测变得很有挑战性。该方法采用预测模型进行异常检测。

为了通过异常检测，立即修复，系统维护，减少智能工厂的计划外故障，我们必须预先了解零件在正常情况下的行为，然后识别出异常状态。因此，基于机器学习的大数据分析集成框架是一个目标。此外，还将提出复杂系统的实时异常检测问题。这将通过使用未来值、预测模型的输出来实现。该预测器使用数据库中历史SCADA传感器数据中的源/控制部件退化信息作为输入数据进行建模。拟议框架的成功实施将使维修计划、检查和维修更快，成本也更低，因为消除了计划外维修时间表[3]引起的停机时间。

本文其余部分的配置如下:第2节简要介绍Hadoop框架的背景、大数据中的机器学习以及基于机器学习的异常方法文献。第三部分重点介绍了提出的框架，设计了LSTM体系结构作为异常检测事件的预测器，如何离线训练模型，部署在线异常检测算法。然后，第四部分的主要内容是应用不同领域的数据来研究性能。最后，在第五部分，我们总结和讨论未来的工作。

Ⅱ. Related Works

综上所述，有必要将大数据分析技术集成到基于SCADA的系统中进行实时监测、异常检测。本节首先介绍大数据平台的概念，大数据平台在整个系统中起着至关重要的作用。接下来是如何在大数据中使用机器学习技术。最后，介绍了机器学习技术在时间序列数据学习中的应用背景及其在异常检测中的应用。

2-1 Big Data framework

在工业操作中，认识到数据的数量和频率与典型的业务提要有很大的不同是非常重要的，因为用于操作的传感器的数量可以数以百万计，并且需要长期的归档、索引和报告。Hadoop框架目前正在成为大数据分析以及分布式数据、流数据的最佳选择。Hadoop生态系统是我们工作的一个很好的选择，因为它可以处理分布式大数据。Hadoop生态系统框架既包含官方Apache开源项目，又包含各种商业工具和组件，在解决大数据情况下的问题方面具有熟练的优势。也许，每个组件都是按照各自的目标用不同的体系结构开发的;然而，将它们聚集在一个屋檐下的原因是，它们的功能都来自Hadoop的可伸缩性和强大功能。Hadoop生态系统由四个不同的层组成:数据存储、数据处理、数据访问或数据管理。如上图所示，Hadoop框架包含了MapReduce[7]、Yarn、Flume[8]、Hive[9]、Pig、Sqoop、Oozie、Zookeeper、HBase等不同的功能模块。取决于Hadoop上的应用程序

集群，我们可以使用这个或另一个来满足需求。例如，Hive是一种SQL方言，Pig是一种数据流语言，用于隐藏在更适合用户目标的高级抽象后面创建MapReduce作业的单调。HBase是一个运行在HDFS之上的面向NoSQL列的数据库管理系统。Sqoop用于在关系数据库和Hadoop之间传输数据。此外，我们还使用额外的齐柏林飞艇[10]作为分布式、通用数据处理系统的协作数据分析和可视化工具。

2-2大数据机器学习

机器学习(ML)在学习能力的各种应用中不断展示着它的强大功能。[11]指出，大数据使ML算法能够发现更多的细粒度模式，并比以往任何时候都更及时和准确地执行。本研究还介绍了一个基于大数据的机器学习框架，如图1所示。它包含四个交互的、不同的组件，包括大数据、用户、域和系统。总之，大数据将为培训阶段提供培训数据，培训阶段生成输出模型或意义信息，这些信息可以返回成为大数据的一部分。此外，用户可以通过提供领域知识、个人偏好和响应[11]来反馈或与ML交互，从而利用性能。而领域既可以作为指导ML的知识来源，也可以作为应用所学模型的上下文;系统架构对学习算法的运行方式和运行效率有影响，同时满足ML可能导致系统架构的共同设计。

ML是揭示如何通过经验[12]自动改进计算机系统的过程。数据预处理、学习模型和评价三个主要部分。预处理块负责将原始数据准备为过滤后的数据，结构化格式的下一步。将这些数据转换成一种形式，通过清洗、提取特征和融合来作为学习的输入。学习块主要是选择学习算法，对模型参数进行调优，得到期望的模型。在实际应用前，通过评价步骤对训练后的模型进行性能评价

2-3 Machine Learning based Anomaly detection

近年来，基于深度神经网络的学习成为热门趋势，成为机器学习中增长最快、最令人兴奋的领域之一，尤其是与大数据合作发现隐藏信息。与生物神经的操作方式类似，神经网络是由相互连接的神经元组成的一系列模型，这些神经元之间的连接可以调整并适应输入。深度神经网络是指具有多个隐含层的神经网络，或者称为深层结构的神经网络，为了提高高层特征学习能力，每一层都可以对上一层的输出进行非线性变换，得到输出[11]，同时也可以作为下一层的输入。工业厂房传感器数据是时间序列数据的典型实例。我们需要分析它们背后隐藏的信息来理解序列模式的行为，并确定被认为是异常模式的异常值模式。传统的异常检测方法通常是基于统计测度的，我们必须识别给定数据中的不规则性，标记出偏离分布的常见统计属性(包括均值、中值、模式和数量[13])的数据点。由于特征来自于特殊的单元“记忆单元”[14]LSTM神经网络，因此它也被用来克服递归神经网络(RNN)所经历的消失梯度问题。LSTM网络是递归神经网络(RNN)[15]的改进版本，由于具有学习长期依赖关系的能力，已被用于许多序列学习任务。[16]提出了一种非监督的方法来检测集体水平上的异常。这在概率上聚集了单个异常对检测显著异常组的贡献。由于采用无监督的集体异常评分方式，可以采用无监督和监督两种方法对个体异常进行评分。在移动起重机和油耗数据集上对模型进行了评估。在声新奇检测方面，[17]提出了一种基于LSTM的非线性预测去噪自编码器(DA)分离异常声信号的新方法。长短时记忆(LSTM)循环去噪自编码器根据前一帧预测下一帧的听觉光谱特征。自动编码器的输入与输出之间的重构误差作为一种激活信号，起着检测新颖信号的作用。在[14]中，Malhotra等人使用LSTM网络对时间序列数据进行异常检测。叠置LSTM网络只对正常数据进行训练，经过一定的时间步长生成预测器。对误差信号的分布概率进行估计，并对异常评分的可能性进行评估。基于LSTM的异常分类器可分为正常分类器和异常分类器两类。事实上，记录异常数据的成本很高，甚至会使情况变得危险而无法控制。培训班之间的平衡并不能保证。从[14]的思想和基于窗口的自适应误差测量方法[18]的具体应用出发，本文采用LSTM建立异常系统的预测模型是较好的选择。该异常功能可以集成到基于监视控制和数据采集(SCADA)[19]的工厂系统中，从工业设备中收集传感器数据，分析和发现信息，并通过SCADA或仪表板网站进行可视化或报警

Ⅲ.System Overview

3-1 Overview Framework

图2为集成到智能工业工厂的实时异常检测框架。在物理和环境应力作用下，制造系统的任何部位都可能发生异常。为了保持制造系统的效率，为更智能的决策处理数据和减少停机时间，SCADA系统对于工业组织来说变得至关重要。它们有助于控制本地和远程的工业过程。如图所示，SCADA块直接与传感器、阀门、泵、电机等设备交互，监控、收集、记录事件到数据库中，并支持处理实时数据。交互可以通过人机界面(HMI)软件进行。在实验中，我们使用了一种数据库可视化事件的解决方案。该框架还对来自智能工厂的大数据(通过内置的状态监测传感器(CMS)从所有组件发送信号)进行基于机器学习的异常检测，然后将这些传感器数据存储到结构数据库或非结构化数据中，用于大数据/云计算。

这些数据的处理对于组件未来状态的预测至关重要，这是通过使用属于机器学习技术的不同模型来对数据建模来实现的。我们将在后面详细介绍基于机器学习的方法。在得到该模型时，我们将其应用于预测过程、异常检测算法或向人工操作者发布预警公告，以便于快速修复解决方案。在智能工厂中，必须配备闭路电视系统，以协助管理员有效地管理工厂。当检测到异常时，通过SCADA的自动化程序可以在异常发生的位置激活多个摄像机。对于高质量的流媒体视频，智能工厂可以为多视图摄像系统提供先进的多视图视频编码(MVC)等技术。该技术将多摄像机的视图组合在一起，形成异常位置的概览，以支持适当的反应。如果我们想从遥远的地方监控工厂，移动边缘计算(MEC)将是智能制造的解决方案。MEC使制造商能够利用机器生成的大数据，形成有洞察力和可操作的数据。更具体地说，MEC充当控制中心和智能工厂之间的中间层。例如，监控视频是用超高质量(4K)录制的，无法有效地传输到控制中心。MEC支持两个位置之间的编码/解码。特别是，MEC可以减少延迟，这在实时SCADA系统中是至关重要的。

3-2 Long Short Term Memory Network

递归神经网络(RNN)是由细胞单元之间的连接(注释为a)沿序列生成有向图的一类人工神经网络。这种结构有助于处理时间序列数据的时间行为，而不是只处理静态输入数据。由于能够随着时间的推移记住相关事件，RNN使自己比传统的前馈网络更具动态性。我们想象这样的网络是有循环结构的，它允许信息沿着时间轴持续存在，如图3所示。

我们看到，递归神经网络在时间序列预测、音乐节奏检测、语音识别、语言模型、机器翻译等方面的应用越来越广泛。然而，由于相关信息之间存在着许多实际问题，且存在较长时间的滞后性，使得RNNs的学习十分困难。反向传播误差的快速衰减是造成这一问题的主要原因。这就是为什么我们认为长、短期记忆网络是RNN的一个特殊版本，它通过强制执行错误恒流来发挥解决方案的作用。几乎所有基于递归神经网络的激动人心的结果都来自于LSTM, LSTM是一种特殊的递归神经网络，在许多任务上都比标准的递归神经网络有效得多。

因此，我们将在下一节中探讨LSTMs以及它在异常检测任务中的应用。递归神经网络最初具有长期记忆，是指信息从原来的细胞传递到现在的细胞。因此，一个被称为长短时记忆[15]的扩展模型将继承这种自然特性;此外，它能够处理长时间序列。与标准的RNNs一样，LSTMs也具有这种带有重复模块的链状结构，但是重复模块的内部结构不同。它不是只有一个单一的神经网络层，而是包含四个层，在特殊的过程[20]中交互，如图4所示。

LSTM单元有几种体系结构，但一般的体系结构受内存单元、输入门、输出门和遗忘门的开/关状态控制。删除或向单元状态添加信息的选项取决于称为gate的结构的操作，它根据接收到的信号运行。LSTM门通常使用逻辑函数来计算激活。直觉上,输入门控制的一个新值流入细胞,忘记门控制的程度值仍然在细胞中,和输出门控制的程度细胞中的值用于计算输出的激活LSTM单位。作为神经网络节点的思想，门结构用自己的一组权值来阻塞或传递信息。这些权重，就像调节输入和隐藏状态的权重一样，是通过循环网络学习过程来调整的。猜测、反向传播误差和调整权重的学习迭代过程仍然是基于梯度下降的

3-3 LSTM based approach for anomaly detection

采用LSTM-RNN作为序列预测模型，以时间序列形式输入数据。在本研究中，我们使用训练后的模型来估计预测误差的分布。预测误差模型验证了异常行为的可能性。我们的方法克服了许多异常数据不足的情况下的局限性。异常识别的整个流程如图5所示。

假设时序数据X，长度为L，每个x是一个m维向量

该体系结构由三个堆叠的LSTM层组成，LSTM层的单元数分别为{64,256,100}，如图6所示，之后是一个完全连接的层。我们还使用dropout操作0.2(20%)在每一层之间进行正则化。此外，我们可以在预测配置中使用一个以上的前瞻步骤，因为预测精度仍然得到保证。如果不是必须的，我们应该将前瞻性步骤定义为1。The 正常 训练   用于 预测 models. 学习我们使用Adam optimizer，学习率为0.1。我们还配置了100个提前停止的训练脚本，得到了用于异常检测算法的训练模型。

The 误差 向量 计算 正常 validation-1 时间 序列 被 用来 估计  , ∑ Normal 分布 使用 Maximum Likelihood Estimation (MLE) algorithm. The 阈 值 选择 与 最大  .

where, P 是 precision, R 召回 在 验证 序列    和   。我们认为异常候选人属于积极类，正常候选人属于消极类。我们认为异常候选人属于积极类，正常候选人属于消极类。

为了在实时/流模式下检测异常，我们提出了一种实时异常检测算法，利用数据库中存储的历史数据训练分类器模型、预测器模型和误差模型来处理流数据。根据培训数据的时序，将其划分为批量学习，学习整个培训数据。而在线学习则可以实现基于每个新输入的模型更新。

算法1称为“实时异常检测”，它同时使用预测模型和误差分布模型来检测事件的时间信息。在进行实时异常检测之前，对基于LSTM-RNN的预测模型和误差分布模型进行了训练。为了降低计算成本，采用基于窗口的方法(滑动窗口=时间间隔(∆T))累计点数，或者取平均值转换为时间序列数据。这里可以实现一些预处理。其次，已经学习了正常数据行为的预测器可以利用正常的历史信号预测未来的信号。为了检验输入信号与正常信号的匹配程度，计算实际信号与预测信号的绝对差值，通过误差分布模型估计异常值。From 优化 阈 值 基于  , 我们 可以 确定 异常 候选人 (anomaly point) 之前 集体 detection. 异常

Ⅳ. Experiments

我们用来进行实验的数据集是52周内的功耗。每个样本数据对应每15分钟一次。总共有35040个数据点。为了训练异常检测系统的必要模型，我们将异常视为低功耗的工作日。显然，我们注意到星期六和星期日是例外，因为周末。按照之前的培训流程，我们将给定的数据分为32周的培训数据集、6周的测试数据集和其余的验证数据集。LSTM模型是用Python和Tensorflow后台使用Keras深度学习库实现的。设计了基于PyQt的图形用户界面。采用伪模式部署基于Hadoop的体系结构，使用Hapdoop流API在python脚本中运行Hadoop MapReduce编程，实现实时异常检测。此外，数据仓库Hive构建在Hadoop之上，用于访问/解析位于HDFS存储上的内容Json文件。为了查看异常检测系统结果的性能，结果输出如图7所示。上图为预测模型(绿破折号)的预测结果，预测误差以实红线的形式表示。下图为异常评分和学习阈值。这个接近于零的阈值用于指定样本是否为异常候选。异常点检测候选点用橙色标记。

最后，我们使用Xisom[21]开发的工业自动化软件解决方案，对传统SQL数据库中的时间序列数据、异常检测和查询数据进行可视化，进行监控操作，如图8所示。

Ⅴ. Conclusion

本文从工业4.0现有的大数据基础设施出发，介绍了一个基于大数据的智能工厂异常检测框架。基于工业监控和数据采集(SCADA)的管理系统利用大数据和机器学习的优点来理解时间序列数据。我们的SCADA场景的总体架构，由提议的来自深度学习的知识生成支持。这种设计与我们在传统数据库上看到的传统商业SCADA解决方案不同。在异常检测方面，基于LSTM的预测器可以很好地对时间序列数据进行预测，学习用于异常模式检测的时间信号特征。该异常检测模型在工业复杂系统(温度、电、水位、湿度等)的不同时间序列数据中具有很强的应用潜力。目前，所需要的模型是使用数据库/云中的常规数据离线训练，并申请实时应用。未来，我们将研究在线学习技术，并将更多的数据挖掘、基于机器学习的算法集成到系统中，以及移动边缘计算技术。