<s>基于_p LSTM_nx 循环_vn 神经_n 网络_n 的_u 故障_n 时间_n 序列_n 预测_vn</s>
<s>王鑫_nr 吴际_nr 刘超_nr 杨海燕_nr 杜艳丽_nr 牛文生_nr</s>
<s>北京_ns 航空_n 航天_n 大学_n 计算机_n 学院_n 丰台_ns 职业_n 教育_vn 中心_n 学校_v 中航_j 工业_n 西安_ns 航空_n 计算_vn 技术_n 研究所_n</s>
<s>北京_ns 航空_n 航天_n 大学_n 学报_n 2018_m (_w 04_m )_w</s>

<s>摘要_n ：_w 有效_a 地_u 预测_v 使用_vn 阶段_n 的_u 故障_n 数据_n 对于_p 合理_ad 制定_v 可靠性_n 计划_n 以及_c 开展_v 可靠性_n 维护_vn 活动_vn 等_u 具有_v 重要_a 的_u 指导_vn 意义_n 。_w</s><s>从_p 复杂_a 系统_n 的_u 历史_n 故障_n 数据_n 出发_v ,_w 提出_v 了_u 一_m 种_q 基于_p 长_a 短期_j 记忆_n (_w LSTM_nx )_w 循环_vn 神经_n 网络_n 的_u 故障_n 时间_n 序列_n 预测_vn 方法_n ,_w 包括_v 网络_n 结构_n 设计_vn 、_w 网络_n 训练_vn 和_c 预测_vn 过程_n 实现_vn 算法_n 等_u ,_w 进一步_d 以_p 预测_vn 误差_n 最_d 小_a 为_v 目标_n ,_w 提出_v 了_u 一_m 种_q 基于_p 多_a 层_q 网格_n 搜索_vn 的_u LSTM_nx 预测_vn 模型_n 参数_n 优选_vn 算法_n ,_w 通过_p 与_p 多_a 种_q 典型_a 时间_n 序列_n 预测_vn 模型_n 的_u 实验_vn 对比_vn ,_w 验证_v 了_u 所_u 提出_v 的_u LSTM_nx 预测_vn 模型_n 及其_c 参数_n 优选_vn 算法_n 在_p 故障_n 时间_n 序列_n 分析_vn 中_f 具有_v 很_d 强_a 的_u 适用性_n 和_c 更_d 高_a 的_u 准确性_n 。_w</s>
<s>基金_n ：_w 中国_ns 民用_b 航空_n 专项_b 研究_vn 项目_n (_w MJ-S-_nx 2013-10_m )_w ;_w 国防_n 科工局_j 技术_n 基础_n 项目_n (_w JSZL2014601B008_nx )_w ;_w 国家_n 自然_n 科学_l 基金_n (_w 61602237_m )_w ~_w ~_w</s>
<s>关键_n 词_n ：_w 长短期_j 记忆_n (_w LSTM_nx )_w 模型_n ;_w 循环_vn 神经_n 网络_n ;_w 故障_n 时间_n 序列_n 预测_vn ;_w 多_a 层_q 网格_n 搜索_vn ;_w 深度_n 学习_vn</s>
<s>作者_n 简介_n ：_w 王鑫_nr ,_w 男_b ,_w 博士_n 研究生_n 。_w</s><s>主要_b 研究_vn 方向_n :_w 数据_n 驱动_vn 技术_n 。_w</s><s>吴际_nr ,_w 男_b ,_w 博士_n ,_w 副教授_n ,_w 硕士生_n 导师_n 。_w</s><s>主要_b 研究_vn 方向_n :_w 模型_n 驱动_vn 、_w 软件_n 可靠性_n 分析_vn ,_w E-mail_nx :_w wuji@buaa.edu.cn_nx ;_w 刘超_nr ,_w 男_b ,_w 博士_n ,_w 教授_n ,_w 博士生_n 导师_n 。_w</s><s>主要_b 研究_vn 方向_n :_w 软件_n 工程_n 、_w 软件_n 测试_vn 。_w</s>
<s>收_v 稿_Ng 日期_n ：_w 2017-05-08_m</s>

<s>对于_p 有_v 高_a 可靠性_n 和_c 安全性_n 需要_v 的_u 复杂_a 系统_n ,_w 有效_a 地_u 预测_v 使用_vn 阶段_n 的_u 可靠性_n 指标_n 是_v 十分_m 重要_a 的_u 。_w</s><s>目前_t ,_w 已_d 有_v 众多_m 方法_n 用来_v 解决_v 可靠性_n 预测_vn 问题_n ,_w 这些_r 方法_n 大致_d 可以_v 分为_v 3_m 类_q [_w 1_m ]_w :_w (_w 1_m )_w 基于_p 故障_n 机理_n (_w Physics_nx -_w of_nx -_w Failure_nx ,_w Po_nx F_nx )_w 的_u 方法_n ,_w Po_nx F_nx 是_v 一_m 种_q 根据_p 故障_n 发生_v 的_u 内在_b 机制_n 和_c 根本_a 原因_n 进行_v 间接_a 预测_vn 的_u 方法_n ;_w (_w 2_m )_w 数据_n 驱动_vn (_w Data_nx -_w Driven_nx ,_w DD_nx )_w 的_u 方法_n ,_w DD_nx 是_v 一_m 种_q 应用_v 统计学_n 或者_c 机器_n 学习_vn 等_u 技术_n 手段_n 对_p 可靠性_n 指标_n 进行_v 直接_a 预测_vn 的_u 方法_n ;_w (_w 3_m )_w 融合_v 的_u 方法_n ,_w 这_r 种_q 方法_n 是_v 一_m 种_q Po_nx F_nx 和_c DD_nx 相_d 结合_v 的_u 方法_n 。_w</s><s>近年_l 来_f ,_w 数据_n 驱动_vn 的_u 方法_n 由于_c 其_r 便捷_a 性_n 和_c 高效性_n 等_u 特点_n ,_w 在_p 实际_n 可靠性_n 预测_vn 中_f 的_u 应用_vn 日渐_d 广泛_a [_w 2_m -_w 3_m ]_w 。_w</s>
<s>故障_n 时间_n 序列_n ,_w 作为_p 一_m 个_q 重要_a 的_u 可靠性_n 指标_n ,_w 能够_v 展示_v 故障_n 的_u 动态_n 演化_vn 过程_n ,_w 并且_c 已经_d 被_p 多_a 种_q 数据_n 驱动_vn 的_u 方法_n 预测_v ,_w 比如_v 自_d 回归_v 移动_vn 平均_v (_w Autoregressive_nx Integrated_nx Moving_nx Average_nx ,_w ARIMA_nx )_w [_w 4_m ]_w 、_w 奇异_a 谱_Ng 分析_vn (_w Singular_n Spectrum_nx Analysis_nx ,_w SSA_nx )_w [_w 5_m ]_w 、_w 支持_v 向量_d 回归_v (_w Support_nx Vector_nx machines_nx Regression_nx ,_w SVR_nx )_w [_w 6_m ]_w 、_w 人工_b 神经_n 网络_n (_w Artificial_nx Neural_nx Network_nx ,_w ANN_nx )_w [_w 7_m ]_w 等_u 。_w</s><s>由于_c 可靠性_n 数据_n 通常_d 不_d 易_a 获取_v ,_w 已_d 有_v 的_u 研究_vn 大多_d 是_v 面向_v 组件_n 级_b 故障_n 数据_n 的_u ,_w 比如_v 文献_n [_w 7_m ]_w 提供_v 的_u 柴油机_n 涡轮_n 增压_vn 器_n 和_c 汽车_n 发动机_n 故障_n 时间_n 序列_n 。_w</s><s>这些_r 数据_n 表现_v 为_v 规则_n 性_Ng 很_d 强_a 的_u 曲线_n 形态_n 并且_c 能够_v 被_p 单一_a 模型_n 很_d 好_a 地_u 拟_v 合_v 和_c 预测_v 。_w</s><s>然而_c ,_w 对于_p 系统_b 级_b 故障_n 数据_n ,_w 比如_v 文献_n [_w 3_m ]_w 提供_v 的_u 民航_n 飞机_n 整机_n 故障_n 时间_n 序列_n ,_w 由于_p 其_r 复杂_a 且_c 不规则_a 的_u 曲线_n 形态_n ,_w 已_d 有的_r 单一_a 模型_n 很_d 难_a 达到_v 理想_a 的_u 预测_vn 效果_n [_w 8_m ]_w 。_w</s><s>为此_d ,_w 文献_n [_w 8_m ]_w 提出_v 了_u 一_m 种_q 基于_p SSA_nx 和_c SVR_nx 的_u 混合_vn 方法_n ,_w 该_r 方法_n 首先_c 从_p 原始_a 数据_n 中_f 提取_v 故障_n 特征_n 成分_n 然后_c 分别_d 建_v 模_Ng 和_c 预测_v ,_w 得到_v 了_u 比_p 单一_a 模型_n 更_d 好_a 的_u 实验_vn 结果_n 。_w</s><s>然而_c ,_w 混合_vn 方法_n 的_u 构建_vn 过程_n 复杂_a 、_w 人工_b 依赖性_n 强_a ,_w 不_d 利于_v 在_p 实际_n 中_f 推广_v 和_c 使用_v 。_w</s>
<s>近年_l 来_f ,_w 随着_p 深度_n 学习_vn 技术_n 的_u 不断_d 发展_v ,_w 一些_m 深度_n 学习_vn 模型_n 逐渐_d 被_p 应用_v 到_v 时序_n 数据_n 的_u 研究_vn 中_f 。_w</s><s>深度_n 学习_vn 模型_n 是_v 一_m 种_q 拥有_v 多_a 个_q 非线性_b 映射_vn 层_n 级_n 的_u 深度_n 神经_n 网络_n 模型_n ,_w 能够_v 对_p 输入_vn 信号_n 逐层_d 抽象_a 并_c 提取_v 特征_n ,_w 挖掘_v 出_v 更_d 深_a 层次_n 的_u 潜在_b 规律_n [_w 9_m ]_w 。_w</s><s>在_p 众多_m 深度_n 学习_vn 模型_n 中_f ,_w 循环_vn 神经_n 网络_n (_w Recurrent_nx Neural_nx Network_n ,_w RNN_nx )_w 将_p 时序_n 的_u 概念_n 引入_v 到_v 网络_n 结构_n 设计_vn 中_f ,_w 使_v 其_r 在_p 时序_n 数据_n 分析_vn 中_f 表现_v 出_v 更_d 强_a 的_u 适应性_n 。_w</s><s>在_p 众多_m RNN_nx 的_u 变体_n 中_f ,_w 长_j 短期_j 记忆_n (_w Long_a Short_a -_w Term_nx Memory_nx ,_w LSTM_nx )_w 模型_n [_w 10_m ]_w 弥补_v 了_u RNN_nx 的_u 梯度_n 消失_vn 和_c 梯度_n 爆炸_v 、_w 长期_b 记忆_vn 能力_n 不足_a 等_u 问题_n ,_w 使得_v 循环_vn 神经_n 网络_n 能够_v 真正_d 有效_a 地_u 利用_v 长_a 距离_n 的_u 时序_n 信息_n 。_w</s><s>LSTM_nx 模型_n 在_p 不同_a 领域_n 的_u 时序_n 数据_n 研究_vn 中_f 已_d 有_v 不少_m 成功_a 的_u 应用_vn 案例_n ,_w 包括_v 文字_n 语言_n 相关_v 的_u 语言_n 建模_vn 、_w 语音_n 识别_vn 、_w 机器_n 翻译_vn [_w 11_m ]_w ,_w 多媒体_n 相关_v 的_u 音频_n 和_c 视频_n 数据_n 分析_vn 、_w 图片_n 标题_n 建模_vn [_w 12_m -_w 13_m ]_w ,_w 道路_n 运输_vn 相关_v 的_u 交通_n 流速_n 预测_vn [_w 14_m ]_w ,_w 以及_c 医学_n 相关_v 的_u 蛋白质_n 二_m 级_q 结构_n 序列_n 预测_vn [_w 15_m ]_w 等_u 。_w</s><s>然而_c ,_w 在_p 可靠性_n 领域_n ,_w LSTM_nx 模型_n 的_u 应用_vn 非常_d 有限_a ,_w 特别_d 是_v 对于_p 故障_n 时间_n 序列_n 预测_vn 这_r 一_m 研究_vn 问题_n ,_w 目前_t 还_d 未_d 发现_v 相关_vn 研究_vn 。_w</s>
<s>本_r 文_Ng 针对_p 系统_n 级_b 故障_n 时间_n 序列_n 数据_n ,_w 提出_v 了_u 一_m 种_q 基于_p LSTM_nx 循环_vn 神经_n 网络_n 的_u 预测_vn 方法_n ,_w 包括_v 3_m 层_q (_w 输入_vn 层_n 、_w 隐藏_vn 层_n 和_c 输出_vn 层_n )_w 网络_n 结构_n 的_u 详细_a 设计_vn ,_w 以及_c 网络_n 训练_vn 和_c 网络_n 预测_vn 的_u 实现_vn 算法_n 等_u 。_w</s><s>在_p 此_r 基础_n 上_f ,_w 以_p 预测_vn 误差_n 最_d 小_a 为_v 目标_n ,_w 进一步_d 提出_v 了_u 一_m 种_q 基于_p 多_a 层_q 网格_n 搜索_vn 的_u LSTM_nx 预测_vn 模型_n 参数_n 优选_vn 算法_n 。_w</s><s>应用_vn 文献_n [_w 3_m ]_w 提供_v 的_u 民航_n 飞机_n 故障_n 数据_n 展开_v 实验_v ,_w 并_c 与_p Holt-_nx Winters_nx 、_w ARIMA_nx 等_u 多_a 种_q 时间_n 序列_n 预测_vn 模型_n 进行_v 实验_vn 对比_vn 。_w</s><s>实验_vn 结果_n 展示_v 了_u 所_u 提出_v 的_u LSTM_nx 预测_vn 模型_n 及_c 其_r 参数_n 优选_vn 算法_n 在_p 故障_n 时间_n 序列_n 预测_vn 中_f 的_u 优越_a 性能_n 。_w</s>
<s>1_m 相关_vn 理论_n 和_c 技术_n</s>
<s>本_r 节_q 简要_ad 介绍_v LSTM_nx 模型_n ,_w 包括_v 前_f 向_b 计算_vn 方法_n 、_w 基于_p 时间_n 的_u 反向_b 传播_vn (_w Back_nx Propagation_nx Through_nx Time_nx ,_w BPTT_nx )_w 算法_n 、_w Adam_nx 参数_n 优化_vn 算法_n ,_w 以及_c 相关_v 的_u RNN_nx 、_w GRU_nx 模型_n 。_w</s>
<s>对于_p 给定_v 序列_n x_nx =_nx (_w x_nx 1_m ,_w x_nx 2_m ,_w …_Ng ,_w x_nx n_nx )_w ,_w 应用_v 一_m 个_q 标准_a 的_u RNN_nx 模型_n [_w 16_m ]_w (_w 如_v 图_n 1_m 所_u 示_v )_w ,_w 可以_v 通过_p 迭_v 代_vn 式_Ng (_w 1_m )_w ~_w 式_Ng (_w 2_m )_w 计算_v 出_v 一_m 个_q 隐藏_vn 层_n 序列_n h_nx =_n (_w h_nx 1_m ,_w h_nx 2_m ,_w …_Ng ,_w h_nx n_nx )_w 和_c 一_m 个_q 输出_vn 序列_n y_nx =_nx (_w y_nx 1_m ,_w y_nx 2_m ,_w …_Ng ,_w y_nx n_nx )_w 。_w</s>
<s>式_Ng 中_f :_w W_nx 为_v 权_n 重_n 系数_n 矩阵_n (_w 比如_v W_nx xh_nx 表示_v 输入_vn 层_n 到_p 隐藏_vn 层_n 的_u 权_n 重_n 系数_n 矩阵_n )_w ;_w b_nx 为_v 偏置_vn 向量_n (_w 比如_v b_nx h_nx 表示_v 隐藏_vn 层_n 的_u 偏置_vn 向量_n )_w ;_w f_nx a_nx 为_v 激活_vn 函数_n (_w 比如_v tanh_nx 函数_n )_w ;_w 下标_n t_nx 表示_v 时刻_n 。_w</s>
<s>尽管_c RNN_nx 能够_v 有效_a 地_u 处理_v 非线性_b 时间_n 序列_n ,_w 但是_c 仍然_d 存在_v 以下_f 2_m 个_q 问题_n [_w 14_m ]_w :_w (_w 1_m )_w 由于_p 梯度_n 消失_v 和_c 梯度_n 爆炸_v 的_u 问题_n ,_w RNN_nx 不_d 能_v 处理_v 延迟_v 过_d 长_a 的_u 时间_n 序列_n ;_w (_w 2_m )_w 训练_v RNN_nx 模型_n 需要_v 预先_d 确定_v 延迟_vn 窗口_s 长度_n ,_w 然而_c 实际_a 应用_vn 中_f 很_d 难_a 自动_d 地_u 获取_v 这_r 一_m 参数_n 的_u 最优_a 值_n 。_w</s><s>由此_d ,_w LSTM_nx 模型_n 应用_v 而_c 生_v 。_w</s><s>LSTM_nx 模型_n 是_v 将_p 隐藏_vn 层_n 的_u RNN_nx 细胞_n 替换_v 为_v LSTM_nx 细胞_n ,_w 使_v 其_r 具有_v 长期_b 记忆_vn 能力_n 。_w</s><s>经过_p 不断_d 地_u 演化_v ,_w 目前_t 应用_v 最为_d 广泛_a 的_u LSTM_nx 模型_n 细胞_n 结构_n [_w 16_m ]_w 如_v 图_n 2_m 所_u 示_v ,_w z_nx 为_v 输入_vn 模块_n ,_w 其_r 前_f 向_b 计算_vn 方法_n 可以_v 表示_v 为_v</s>
<s>式_Ng 中_f :_w i_nx 、_w f_nx 、_w c_nx 、_w o_nx 分别_d 为_v 输入_vn 门_n 、_w 遗忘_vn 门_n 、_w 细胞_n 状态_n 、_w 输出_vn 门_n ;_w W_nx 和_c b_nx 分别_d 为_v 对应_v 的_u 权_n 重_n 系数_n 矩阵_n 和_c 偏置_vn 项_n ;_w σ_nx 和_c tanh_nx 分别_d 为_v sigmoid_nx 和_c 双_m 曲_Ng 正_b 切_vn 激活_vn 函数_n 。_w</s><s>LSTM_nx 模型_n 训练_vn 过程_n 采用_v 的_u 是_v 与_p 经典_n 的_u 反向_b 传播_vn (_w Back_nx Propagation_nx ,_w BP_nx )_w 算法_n 原理_n 类似_a 的_u BPTT_nx 算法_n [_w 17_m ]_w ,_w 大致_d 可以_v 分为_v 4_m 个_q 步骤_n :_w (_w 1_m )_w 按照_p 前_f 向_b 计算_vn 方法_n (_w 式_Ng (_w 3_m )_w ~_w 式_Ng (_w 7_m )_w )_w 计算_v LSTM_nx 细胞_n 的_u 输出_vn 值_n ;_w (_w 2_m )_w 反向_d 计算_v 每_r 个_q LSTM_nx 细胞_n 的_u 误差_n 项_n ,_w 包括_v 按_p 时间_n 和_c 网络_n 层级_n 2_m 个_q 反向_b 传播_vn 方向_n ;_w (_w 3_m )_w 根据_p 相应_v 的_u 误差_n 项_n ,_w 计算_v 每_r 个_q 权_n 重_n 的_u 梯度_n ;_w (_w 4_m )_w 应用_v 基于_p 梯度_n 的_u 优化_vn 算法_n 更新_v 权_n 重_n 。_w</s>
<s>图_n 1_m RNN_n 模型_n 及_c 隐藏层_n 细胞_n 结构_n Fig_nx ._w 1_m RNN_n model_n and_c cell_nx structure_n in_v hidden_a layer_nx</s>
<s>图_n 2_m LSTM_nx 隐藏_vn 层_n 细胞_n 结构_n Fig_nx ._u 2_m LSTM_n cell_nx structure_n in_nx hidden_a layer_nx</s>
<s>基于_p 梯度_n 的_u 优化_vn 算法_n 种类_n 众多_m ,_w 比如_v 随机_b 梯度_n 下降_v (_w Stochastic_nx Gradient_nx Descent_nx ,_w SGD_nx )_w [_w 18_m ]_w 、_w Ada_nx Grad_nx [_w 19_m ]_w 、_w RMSProp_nx [_w 20_m ]_w 等_u 算法_n 。_w</s><s>本_r 文_Ng 选用_v 的_u 是_v 文献_n [_w 21_m ]_w 提出_v 的_u 适应性_n 动量_n 估计_vn (_w Adaptive_nx moment_nx estimation_nx ,_w Adam_nx )_w 算法_n 。_w</s><s>Adam_nx 优化_vn 算法_n 是_v 一_m 种_q 有效_a 的_u 基于_p 梯度_n 的_u 随机_b 优化_vn 方法_n ,_w 该_r 算法_n 融合_v 了_u Ada_nx Grad_nx 和_c RMSProp_nx 算法_n 的_u 优势_n ,_w 能够_v 对_p 不同_a 参数_n 计算_v 适应性_n 学习率_n 并且_c 占用_v 较_d 少_a 的_u 存储_vn 资源_n 。_w</s><s>相比_v 于_p 其他_r 随机_d 优化_vn 方法_n ,_w Adam_nx 算法_n 在_p 实际_a 应用_vn 中_f 整体_n 表现_vn 更_d 优_Ag [_w 21_m ]_w 。_w</s>
<s>此外_c ,_w LSTM_nx 模型_n 演化_v 出_v 了_u 很多_m 变体_n ,_w 其中_r 最_d 成功_a 的_u 一_m 种_q 是_v 文献_n [_w 22_m ]_w 提到_v 的_u 门限_n 循环_vn 单元_n (_w Gated_nx Recurrent_nx Unit_nx ,_w GRU_nx )_w 。_w</s><s>GRU_nx 模型_n 是_v LSTM_nx 模型_n 的_u 简化_vn 版本_n ,_w 但是_c 保留_v 了_u LSTM_nx 模型_n 的_u 长期_b 记忆_vn 能力_n ,_w 其_r 主要_b 变动_vn 是_v 将_p LSTM_nx 细胞_n 中_f 的_u 输入_vn 门_n 、_w 遗忘_vn 门_n 、_w 输出_vn 门_n 替换_v 为_v 更新_vn 门_n 和_c 重_vn 置_vn 门_n ,_w 并_c 将_p 细胞_n 状态_n 和_c 输出_vn 2_m 个_q 向量_n 合二为一_l 。_w</s><s>在_p 实际_a 应用_vn 中_f ,_w GRU_nx 模型_n 与_c LSTM_nx 模型_n 具有_v 很_d 强_a 的_u 可比性_n [_w 22_m ]_w 。_w</s>
<s>2_m 研究_vn 方法_n</s>
<s>根据_p 系统_n 级_b 故障_n 时间_n 序列_n 数据_n 的_u 特点_n ,_w 结合_v 第_m 1_m 节_q 介绍_v 的_u 相关_vn 理论_n 和_c 技术_n ,_w 本_r 节_q 给出_v 基于_p LSTM_nx 模型_n 的_u 故障_n 时间_n 序列_n 预测_vn 方法_n ,_w 以及_c 对应_v 的_u 基于_p 多_a 层_q 网格_n 搜索_vn 的_u 参数_n 优选_vn 算法_n 。_w</s>
<s>2.1_m 基于_p LSTM_nx 的_u 故障_n 时间_n 序列_n 预测_v</s>
<s>考虑_v 到_v 单_b 变量_n 故障_n 时间_n 序列_n 有限_a 样本_n 点_n 的_u 数据_n 特征_n ,_w 以及_c 循环_vn 神经_n 网络_n 从简_v 的_u 设计_vn 原则_n ,_w 本_r 文_Ng 构建_v LSTM_nx 预测_vn 模型_n 的_u 整体_n 框架_n 如_v 图_n 3_m 所_u 示_v ,_w 包括_v 输入_vn 层_n 、_w 隐藏_vn 层_n 、_w 输出_vn 层_n 、_w 网络_n 训练_vn 以及_c 网络_n 预测_vn 5_m 个_q 功能_n 模块_n 。_w</s><s>输入_vn 层_n 负责_v 对_p 原始_a 故障_n 时间_n 序列_n 进行_v 初步_b 处理_vn 以_c 满足_v 网络_n 输入_vn 要求_n ,_w 隐藏_vn 层_n 采用_v 图_n 2_m 表示_v 的_u LSTM_nx 细胞_n 搭建_v 单层_b 循环_vn 神经_n 网络_n ,_w 输出_vn 层_n 提供_v 预测_vn 结果_n ,_w 网络_n 训练_vn 采用_v 第_m 1_m 节_q 提到_v 的_u Adam_nx 优化_vn 算法_n ,_w 网络_n 预测_vn 采用_v 迭_v 代_v 的_u 方法_n 逐_Vg 点_n 预测_v 。_w</s>
<s>图_n 3_m 基于_p LSTM_nx 的_u 故障_n 时间_n 序列_n 预测_vn 框架_n Fig.3_nx LSTM_nx based_nx framework_nx for_v failure_nx time_nx series_n prediction_nx</s>
<s>2.1.1_m 网络_n 训练_vn</s>
<s>网络_n 训练_vn 主要_d 以_p 隐藏层_n 为_v 研究_vn 对象_n 。_w</s><s>首先_c 在_p 输入_vn 层_n 中_f ,_w 定义_v 原始_a 故障_n 时间_n 序列_n 为_v F_nx o_nx =_w {_w f_nx 1_m ,_w f_nx 2_m ,_w …_n ,_w f_nx n_nx }_w ,_w 则_c 划分_v 的_u 训练_vn 集_Ng 和_c 测试_vn 集_Ng 可以_v 表示_v 为_v F_nx tr_nx =_w {_w f_nx 1_m ,_w f_nx 2_m ,_w …_n ,_w f_nx m_nx }_w 和_c F_nx te_nx =_w {_w f_nx m_nx +_w 1_m ,_w f_nx m_nx +_w 2_m ,_w …_n ,_w f_nx n_nx }_w ,_w 满足_v 约束_vn 条件_n m_nx <_w n_nx 和_c m_nx ,_w n∈N_n 。_w</s><s>然后_c 对_p 训练_vn 集中_a 的_u 元素_n f_nx t_n 进行_v 标准化_vn ,_w 采用_v 经典_n 的_u z_nx -_w score_nx 标准化_vn 公式_n (_w 均值_n 为_v 0_m ,_w 标准_n 差_n 为_v 1_m ,_w 表示_v 为_v zscore_nx )_w ,_w 标准化_v 后_f 的_u 训练_vn 集_n 可以_v 表示_v 为_v</s>
<s>为了_p 适应_v 隐藏_vn 层_n 输入_v 的_u 特点_n ,_w 应用_v 数据_n 分割_vn 的_u 方法_n 对_p F_nx &_w apos_nx ;_w tr_nx 进行_v 处理_vn ,_w 设定_v 分割_vn 窗口_s 长度_n 取_v 值_n 为_v L_nx ,_w 则_c 分割_v 后_f 的_u 模型_n 输入_vn 为_v</s>
<s>对应_v 的_u 理论_n 输出_vn 为_p</s>
<s>接下来_l ,_w 将_p X_nx 输入_v 隐藏层_n 。_w</s><s>从_p 图_n 3_m 可以_v 看出_v ,_w 隐藏_vn 层_n 包含_v L_nx 个_q 按_p 前后_f 时刻_n 连接_v 的_u 同构_n LSTM_nx 细胞_n ,_w X_nx 经过_p 隐藏_vn 层_n 后_f 的_u 输出_vn 可以_v 表示_v 为_v</s>
<s>式_Ng 中_f :_w C_nx p_nx -_w 1_m 和_c H_nx p_nx -_w 1_m 分别_d 为_v 前_f 一_m 个_q LSTM_nx 细胞_n 的_u 状态_n 和_c 输出_vn ;_w LSTM_nx forward_nx 表示_v 第_m 1_m 节_q 提到_v 的_u LSTM_nx 细胞_n 前_f 向_Ng 计算_vn 方法_n (_w 式_Ng (_w 3_m )_w ~_w 式_Ng (_w 7_m )_w )_w 。_w</s><s>设定_vn 细胞_n 状态_n 向量_n 大小_n 为_v S_nx state_n ,_w 则_c C_nx p_nx -_w 1_m 和_c H_nx p_nx -_w 1_m 2_m 个_q 向量_n 的_u 大小_n 均_d 为_v S_nx state_n 。_w</s><s>可以_v 看出_v ,_w 隐藏_vn 层_n 输出_v P_nx 、_w 模型_n 输入_v X_nx 和_c 理论_n 输出_vn Y_nx 都_d 是_v 维度_n 为_v (_w m_nx -_w L_nx ,_w L_nx )_w 的_u 二_m 维_q 数_n 组_n 。_w</s><s>选用_v 均_Ag 方_n 误差_n 作为_v 误差_n 计算_vn 公式_n ,_w 训练_vn 过程_n 的_u 损失_n 函数_n 可以_v 定义_v 为_v</s>
<s>设定_v 损失_n 函数_n 最_d 小_a 为_v 优化_vn 目标_n ,_w 给定_v 网络_n 初始_v 化_v 的_u 随机_b 种子_n 数_n seed_nx 、_w 学习率_n η_nx 以及_c 训练_vn 步_n 数_n steps_nx ,_w 应用_v Adam_nx 优化_vn 算法_n 不断_d 更新_v 网络_n 权_n 重_n ,_w 进而_c 得到_v 最终_b 的_u 隐藏_vn 层_n 网络_n 。_w</s>
<s>2_m ._w 1_m ._w 2_m 网络_n 预测_v</s>
<s>本_r 小节_n 应用_v 训练好_v 的_u LSTM_nx 网络_n (_w 表示_v 为_v LSTM_nx *_w net_n )_w 进行_v 预测_vn 。_w</s><s>预测_vn 过程_n 采用_v 迭_v 代_v 的_u 方法_n 。_w</s><s>首先_c ,_w 理论_n 输出_vn Y_nx 的_u 最后_f 一行_n 数据_n 为_v</s>
<s>将_p Y_nx f_nx 输入_v LSTM_nx *_w net_nx ,_w 输出_vn 结果_n 可以_v 表示_v 为_v</s>
<s>则_c m_nx +_w 1_m 时刻_n 的_u 预测值_n 为_v p_nx m_nx +_w 1_m 。_w</s><s>然后_c ,_w 将_p Y_nx f_nx 的_u 最后_f L_nx -_w 1_m 个_q 数据点_n 和_c p_nx m_nx +_n 1_m 合并_v 为_v 新_a 的_u 一行_n 数据_n</s>
<s>将_p Y_nx f_nx +_n 1_m 输入_v LSTM_nx *_w net_nx ,_w 则_c m_nx +_w 2_m 时刻_n 的_u 预测_vn 值_n 为_v p_nx m_nx +_w 2_m ,_w 依次_d 类推_v ,_w 得到_v 的_u 预测_vn 序列_n 为_v</s>
<s>接下来_l ,_w 通过_p 对_p P_nx o_nx 进行_v z_nx -_w score_nx 反_b 标准化_vn (_w 表示_v 为_v de_nx __w zscore_nx )_w ,_w 得到_v 最终_b 的_u 与_p 测试_n 集_n F_nx te_nx 对应_v 的_u 预测_vn 序列_n 为_v</s>
<s>类似_a 地_u ,_w 将_p X_nx 的_u 每_r 一行_n 作为_v 模型_n 输入_v 可以_v 得到_v 与_p 训练_v 集_Vg F_nx tr_nx 对应_v 的_u 拟_vn 合_vn 序列_n P_nx tr_nx 。_w</s><s>最后_f ,_w 通过_p 计算_v F_nx tr_nx 和_c P_nx tr_nx ,_w 以及_c F_nx te_nx 和_c P_nx te_nx 的_u 偏差_n 定量_v 地_u 给出_v 模型_n 的_u 拟_vn 合_vn 和_c 预测_vn 精度_n 。_w</s>
<s>总的来说_c ,_w 基于_p LSTM_nx 的_u 故障_n 时间_n 序列_n 模型_n 训练_vn 和_c 预测_vn 算法_n 概括_v 如下_v :_w</s>
<s>算法_n 1_m 训练_v 并_c 预测_v LSTM_nx 故障_n 时间_n 序列_n 模型_n</s>
<s>输入_v :_w F_nx o_nx ,_w m_nx ,_w L_nx ,_w S_nx state_nx ,_w seed_nx ,_w steps_nx ,_w η_nx 。_w</s>
<s>输出_v :_w 与_p 测试_n 集_Ng 对应_v 的_u 预测_vn 序列_n 以及_c 模型_n 精度_n 。_w</s>
<s>其中_r :_w 训练_vn 过程_n 涉及_v 输入_vn 层_n 、_w 隐藏_vn 层_n 、_w 输出_vn 层_n 、_w 网络_n 训练_vn 4_m 个_q 模块_n ,_w 预测_vn 过程_n 主要_d 涉及_v 输出_vn 层_n 模块_n ;_w LSTM_nx cell_nx 表示_v LSTM_nx 隐藏_vn 层_n 细胞_n (_w 如_v 图_n 2_m 所_u 示_v )_w ;_w LSTM_nx net_n 表示_v LSTM_nx 隐藏_vn 层_n 网络_n (_w 如_v 图_n 3_m 所_u 示_v )_w ;_w ε_nx e_nx 为_v 误差_n 度量_n 函数_n 。_w</s>
<s>2.2_m 基于_p 多_a 层_q 网格_n 搜索_vn 的_u LSTM_nx 预测_vn 模型_n 参数_n 优选_vn</s>
<s>在_p 构建_v 上述_b LSTM_nx 预测_vn 模型_n 中_f ,_w 涉及_v 到_v 众多_m 参数_n ,_w 其中_r 以_p 分割_v 窗口_s 长度_n L_nx 、_w 状态_n 向量_n 大小_n S_nx state_nx 和_c 学习率_n η_nx 最为_d 关键_a [_w 16_m ]_w 。_w</s><s>为了_p 达到_v 更_d 好_a 的_u 预测_vn 效果_n ,_w 本_r 文_Ng 采用_v 网格_n 搜索_vn 的_u 方法_n 对_p 这_r 3_m 个_q 参数_n 进行_v 优选_vn 。_w</s><s>相比_v 与_p 其他_r 的_u 超_h 参数_n 优化_vn 方法_n (_w 比如_v 遗传_vn 算法_n [_w 23_m ]_w 、_w 随机_b 搜索_vn 算法_n [_w 16_m ]_w 、_w 粒子_n 群_Ng 算法_n [_w 24_m ]_w ,_w 贝叶斯_nz 算法_n [_w 25_m ]_w 等_u )_w ,_w 网格_n 搜索_vn 是_v 一_m 种_q 简单_a 实用_a 、_w 容易_a 并行_v 计算_vn 且_c 计算_v 耗时_vn 可控_v 的_u 优化_vn 方法_n [_w 26_m ]_w ,_w 能够_v 很_d 好_a 地_u 满足_v 故障_n 时间_n 序列_n 预测_v 的_u 任务_n 需求_n 和_c 实验_vn 要求_n 。_w</s><s>参数_n 优选_v 的_u 依据_n 是_v 测试_vn 集_Ng 全部_m 测试_vn 点_n 上_f 的_u 预测_vn 精度_n 最高_a ,_w 即_v 预测_vn 误差_n ε_nx (_w P_nx te_nx ,_w F_nx te_nx )_w 最_d 小_a ,_w 目标_n 函数_n 可以_v 表示_v 为_v</s>
<s>式_Ng 中_f :_w step_nx L_nx 、_w step_nx state_nx 和_c step_nx η_nx 分别_d 为_v 对应_vn 参数_n 的_u 网格_n 搜索_vn 步长_n 。_w</s><s>L_nx 、_w S_nx state_nx 和_c η_nx 这_r 3_m 个_q 参数_n 构成_v 了_u 一_m 个_q 三维_m 搜索_vn 空间_n ,_w 可以_v 通过_p 多_a 层_q 网格_n 搜索_vn 算法_n (_w 算法_n 2_m )_w 获取_v 最优_z 参数_n 组合_n 。_w</s><s>搜索_vn 过程_n 主要_d 包括_v 3_m 层_q ,_w 从_p 内_f 到_p 外_f 分别_d 对_p S_nx state_nx 、_w L_nx 和_c η_nx 进行_v 网格_n 搜索_vn 。_w</s><s>首先_c ,_w 固定_v 随机_b 种子_n 数_n seed_nx 和_c 训练_vn 步_q 数_n steps_nx ,_w 根据_p 式_Ng (_w 23_m )_w 预设_v 3_m 个_q 参数_n 的_u 取_v 值_n 范围_n (_w 为了_p 降低_v 模型_n 复杂_a 度_n ,_w 分别_d 将_p L_nx max_nx 和_c S_nx max_nx 控制_v 在_p 较_d 小_a 的_u 取_v 值_n )_w ;_w 然后_c ,_w 分别_d 遍历_v 3_m 个_q 参数_n 的_u 取_v 值_n 范围_n ,_w 在_p 最_d 内层_f 训练_v 并_c 预测_v LSTM_nx 故障_n 时间_n 序列_n 模型_n (_w 如_v 算法_n 2_m 所_u 示_v ,_w 表示_v 为_v LSTM_nx predict_nx )_w ,_w 保存_v 对应_v 的_u 模型_n 参数_n 和_c 模型_n 精度_n ;_w 最后_f ,_w 对_p 所有_b 保存_v 的_u 结果_n 按照_p 预测_vn 精度_n 由_p 高_a 到_p 低_a 排序_v ,_w 则_c 最_d 前面_f 的_u 参数_n 组合_n 即_v 优选_v 的_u 模型_n 参数_n 。_w</s>
<s>算法_n 2_m LSTM_nx 预测_vn 模型_n 参数_n 优选_v</s>
<s>3_m 实验_n 验证_v</s>
<s>本_r 节_q 结合_v 一_m 个_q 航空_n 领域_n 的_u 工业_n 案例_n ,_w 应用_v 第_m 2_m 节_q 提出_v 的_u LSTM_nx 预测_vn 模型_n 及其_c 参数_n 优选_vn 算法_n 展开_v 实验_vn 验证_vn 。_w</s>
<s>3_m ._w 1_m 实验_n 准备_vn</s>
<s>首先_d 介绍_v 实验_v 中_f 所_u 选用_v 的_u 故障_n 数据集_n ,_w 与_p 本_r 文_Ng 提出_v 的_u LSTM_nx 模型_n 相_d 对比_v 的_u 其他_r 时间_n 序列_n 预测_vn 模型_n ,_w 评价_v 不同_a 预测_vn 模型_n 优劣_n 的_u 精度_n 度量_n 指标_n ,_w 以及_c 实验_vn 运行_vn 平台_n 和_c 软硬件_j 环境_n 配置_vn 。_w</s>
<s>3.1.1_m 数据集_n</s>
<s>实验_vn 数据_n 采用_v 文献_n [_w 3_m ]_w 提供_v 的_u 系统级_n 故障_n 时间_n 序列_n 数据集_n 。_w</s><s>该_r 数据集_n 包含_v 两_m 架_q 正在_d 运营_v 的_u 波音_nz 737_m 飞机_n 18_m 年_q (_w 1997_m —_w 2014年_t )_w 的_u 故障_n 记录_n ,_w 通过_p 整理_v 后_f 得到_v 2_m 个_q 包含_v 216_m 个_q 数据点_n 的_u 月度_n 故障_n 时间_n 序列_n 数据_n 。_w</s><s>故障_n 时间_n 序列_n 如_v 图_n 4_m 所_u 示_v ,_w 分别_d 对应_v A_nx 飞机_n 和_c B_nx 飞机_n 2_m 个_q 数据_n 源_Ng ,_w 横_Ng 坐标_n 为_v 年份_n ,_w 纵_Ng 坐标_n 为_v 月度_n 故障_n 数_n 。_w</s><s>从_p 图_n 中_f 可以_v 看出_v ,_w 这_r 2_m 个_q 系统_n 级_n 故障_n 数据_n 相比_v 于_p 文献_n [_w 7_m ]_w 提供_v 的_u 组件_n 级_b 故障_n 数据_n 表现_v 出_v 更为_d 复杂_a 的_u 曲线_n 形态_n 。_w</s><s>此外_c ,_w 对于_p 复杂_a 系统_n 来说_u ,_w 一定_b 时期_n 内_f 发生_v 的_u 故障_n 数_n 可以_v 视为_v 系统_n 的_u 平均_a 故障_n 率_n [_w 27_m ]_w ,_w 用_p 公式_n 表示_v 为_v ,_w 其中_r f_nx i_q 和_c t_nx i_nx 分别_d 为_v 第_m i_m 次_q 使用_vn 周期_n 中_f 发生_v 的_u 故障_n 数_n 和_c 工作_vn 时_Ng 长_a ,_w N_nx 为_v 指定_vn 时期_n 内_f 的_u 工作_vn 次数_n ,_w MTBF_nx (_w Mean_nx Time_n Between_nx Failure_nx )_w 为_v 平均_a 故障_n 间隔_n 时间_n 。_w</s><s>因此_c ,_w 本_r 文_Ng 选择_v 故障_n 数_n 这_r 一_m 重要_a 的_u 可靠性_n 指标_n 作为_v 实验_vn 对象_n ,_w 并_c 设定_v 前_f 17_m 年_q 的_u 204_m 个_q 数据_n 点_n 作为_v 训练_vn 集_Ng ,_w 第_m 18_m 年_q 的_u 12_m 个_q 数据_n 点_n 作为_v 测试_vn 集_Ng 。_w</s>
<s>图_n 4_m A_nx 、_w B_nx 飞机_n 的_u 月度_n 故障_n 时间_n 序列_n 数据_n Fig_nx ._w 4_m Monthly_nx failure_nx time_n series_n data_nx for_v Aircraft_nx A_nx and_c Aircraft_nx B_nx</s>
<s>3_m ._m 1_m ._m 2_m 对比_vn 模型_n</s>
<s>除了_p 第1_m 节_q 提到_v 的_u RNN_nx 和_c GRU_nx 模型_n ,_w 本_r 文_Ng 将_p LSTM_nx 模型_n 与_p 以下_f 5_m 种_q 时间_n 序列_n 预测_vn 模型_n 进行_v 实验_n 对比_vn 。_w</s>
<s>1_m )_w Holt-Winters_nx 模型_n</s>
<s>Holt-Winters_nx 又_d 称_v 3_m 次_q 指数_n 平滑_vn ,_w 是_v 一_m 种_q 能够_v 处理_v 含有_v 趋势_n 性_n 和_c 周期性_n 成分_n 的_u 时间_n 序列_n 分析_vn 方法_n [_w 28_m ]_w 。_w</s><s>其_r 思想_n 是_v 利用_v 历史_n 数据_n 的_u 不同_a 特征_n 成分_n (_w 水平_n 、_w 趋势_n 和_c 季节_n )_w 来_v 递_v 推_v 当前_t 数据_n 。_w</s><s>Holt-Winters_nx 模型_n 的_u 重要_a 参数_n 是_v 与_p 特征_n 成分_n 对应_v 的_u 3_m 个_q 平滑_a 系数_n ,_w 即_v α_nx 、_w β_nx 和_c γ_nx ,_w 取_v 值_n 均_d 为_v 0_m 到_p 1_m 之间_f ,_w 且_c 越_d 靠近_v 1_m 则_c 预测_vn 结果_n 越_d 依赖_v 于_p 近期_t 观测_vn 值_n 。_w</s><s>此外_c ,_w 根据_p 季节性_n 成分_n 在_p 递_v 推_vn 公式_n 中_f 的_u 不同_a 组织_vn 形式_n ,_w Holt_nx -_w Winters_nx 模型_n 又_d 分为_v 加法_n 和_c 乘法_n 2_m 种_q 类型_n (_w 分别_d 表示_v 为_v Holt_nx -_w Winters_nx a_nx 和_c Holt-Winters_nx m_nx )_w 。_w</s><s>在_p 实际_ad 使用_v 中_f ,_w 这_r 2_m 种_q 类型_n 均_d 需要_v 计算_v 不同_a 特征_n 成分_n 的_u 初始_n 值_n ,_w 并_c 根据_p 均_Ag 方_n 误差_n 最_d 小_a 来_v 计算_v 3_m 个_q 平滑_a 系数_n 。_w</s>
<s>2_m )_w 自_d 回归_v 移动_v 平均_a</s>
<s>ARIMA_nx 是_v 时间_n 序列_n 分析_vn 的_u 经典_n 理论_n 和_c 方法_n ,_w 其_r 模型_n 可以_v 表示_v 为_v ARIMA_nx (_w p_nx ,_w d_nx ,_w q_nx )_w ,_w 其中_r p_nx 、_w d_nx 、_w q_nx 分别_d 为_v 自_r 回归_vn 项数_n 、_w 差_n 分_n 次数_n 、_w 移动_vn 平均_a 项数_n [_w 29_m ]_w 。_w</s><s>在_p 实际_ad 使用_v 中_f ,_w 这_r 3_m 个_q 参数_n 可以_v 通过_p 观测_v 自_n 相关_vn 函数_n (_w Auto_nx Correlation_nx Function_nx ,_w ACF_nx )_w 和_c 偏_a 自_n 相关_vn 函数_n (_w Partial_nx Auto_nx Correlation_nx Function_nx ,_w PACF_nx )_w 确定_v ,_w 也_d 可以_v 通过_p 计算_v AIC_nx (_w Akaike_nx Information_nx Criterion_nx )_w 或_c BIC_nx (_w Bayesian_nx Information_nx Criterion_nx )_w 值_n 取_v 其_r 最_d 小_a 来_v 确定_v 。_w</s><s>本_r 文_Ng 采用_v 了_u 文献_n [_w 30_m ]_w 提出_v 的_u 自动化_vn 方法_n 建立_v ARIMA_nx 模型_n 。_w</s>
<s>3_m )_w 奇异_a 谱_Ng 分析_vn</s>
<s>SSA_nx 是_v 一_m 种_q 时_n 域_n 和_c 频_Ag 域_n 相_d 结合_v 的_u 非_h 参数_n 方法_n ,_w 可以_v 用于_v 处理_v 非线性_b 、_w 非_b 平稳_a 以及_c 包含_v 噪声_n 的_u 时间_n 序列_n ,_w 其_r 核心_n 思想_n 是_v 提取_v 序列_n 中_f 的_u 有效_a 成分_n 建_v 模_n 和_c 预测_vn [_w 31_m ]_w 。_w</s><s>SSA_nx 包括_v 分解_v 和_c 重构_v 2_m 个_q 过程_n ,_w 其中_r 分解_vn 过程_n 又_d 包括_v 嵌入_vn 和_c 奇异_a 值_n 分解_vn (_w Singular_nx Value_nx Decomposition_nx ,_w SVD_nx )_w 2_m 个_q 子_n 过程_n ,_w 重构_vn 过程_n 又_d 包括_v 分组_v 和_c 对角_n 平均_v 2_m 个_q 子_n 过程_n 。_w</s><s>在_p 实际_a 使用_v 中_f ,_w 需要_v 确定_v 的_u 2_m 个_q 参数_n 为_v 嵌入_v 子_n 过程_n 的_u 窗口_s 长度_n L_nx ssa_nx 和_c 分组_v 子_n 过程_n 的_u 分组_vn 类别_n G_nx ssa_nx 。_w</s><s>本_r 文_Ng 根据_p 文献_n [_w 32_m ]_w 提出_v 的_u 方法_n 确定_v 这_r 2_m 个_q 参数_n 的_u 取_v 值_n 范围_n 并_c 取_v 其_r 最_d 大_a 值_n 。_w</s><s>此外_c ,_w SSA_nx 包含_v 递_v 归_v 和_c 向量_n 2_m 种_q 预测_vn 方法_n (_w 分别_d 表示_v 为_v SSA_nx r_nx 和_c SSA_nx v_nx )_w ,_w 其中_r 向量_n 预测_vn 方法_n 拥有_v 更_d 好_a 的_u 稳定性_n 但是_c 需要_v 消耗_v 更_d 多_a 的_u 计算_vn 资源_n 。_w</s>
<s>4_m )_w 多元_vn 线性_n 回归_vn</s>
<s>多元_b 线性_n 回归_vn (_w Multiple_nx Linear_nx Regression_nx ,_w MLR_nx )_w 是_v 一_m 种_q 广泛_ad 应用_v 于_p 预测_vn 任务_n 的_u 多_a 因素_n 分析_vn 方法_n [_w 33_m ]_w 。_w</s><s>MLR_nx 用于_v 时间_n 序列_n 预测_v 的_u 模型_n 可以_v 表示_v 为_v Y_nx t_nx =_w a_nx 0_m +_w a_nx 1_m Y_nx t_nx -_w 1_m +_w a_nx 2_m Y_nx t_nx -_w 2_m +_w …_nx +_w a_nx k_q Y_nx t_nx -_w k_nx +_w e_nx ,_w 其中_r :_w Y_n t_n 为_v t_nx 时刻_n 的_u 预测_vn 值_n ,_w a_nx 1_m ,_w a_nx 2_m ,_w …_n ,_w a_nx k_n 为_v 不同_a 历史_n 时刻_n 数据_n Y_nx t_nx -_w 1_m ,_w Y_n t_n -_w 2_m ,_w …_n ,_w Y_nx t_n -_w k_nx 对应_v 的_u 回归_vn 系数_n ,_w a_nx 0_m 和_c e_nx 分别_d 为_v 偏置_vn 项_n 和_c 误差_n 项_n [_w 34_m ]_w 。_w</s><s>当_p 连续_a 的_u 历史_n 时刻_n 数据_n 被_p 选为_v 多_a 因素_n 变量_n 时_Ng ,_w k_nx 也_d 可以_v 称为_v 窗口_s 长度_n (_w 表示_v 为_v L_nx mlr_nx )_w 。_w</s><s>本_r 文_Ng 选定_v 连续_a 2_m 年_q 的_u 月度_n 故障_n 数据点_n 个数_n 24_m 作为_v k_nx 的_u 取_v 值_n 。_w</s>
<s>5_m )_w 支持_v 向量_n 回归_v</s>
<s>SVR_nx 是_v 一_m 种_q 可以_v 用于_v 时间_n 序列_n 预测_v 的_u 机器_n 学习_vn 方法_n [_w 35_m ]_w 。_w</s><s>这_r 种_q 方法_n 通过_p 一_m 个_q 非线性_b 核_n 函数_n 将_p 多维_m 输入_vn 映射_v 到_v 更_d 高_a 维度_n 的_u 特征_n 空间_n 后_f 执行_v 回归_vn 运算_vn ,_w 进而_c 得到_v 与_p 输出_vn 指标_n 的_u 非线性_b 映射_vn 关系_n 。_w</s><s>本_r 文_Ng 选择_v 常用_a 的_u 高斯_nz 径向_n 基_n 函数_n (_w Gaussian_nx Radial_nx Basis_nx Function_nx ,_w RBF_nx )_w 作为_v 非线性_b 核_n 函数_n ,_w 并_c 采用_v 文献_n [_w 36_m ]_w 提出_v 的_u 启发式_b 方法_n 计算_v 核_n 函数_n 参数_n σ_nx svr_nx 和_c 误差_n 边界_n ε_nx 。_w</s><s>此外_c ,_w SVR_nx 模型_n 的_u 惩罚_vn 因子_n C_nx 和_c 窗口_s 长度_n L_nx svr_nx 分别_d 设置_v 为_v 3_m 和_c 24_m 。_w</s>
<s>3_m ._w 1_m ._q 3_m 度量_n 指标_n</s>
<s>本_r 文_Ng 从_p 以下_f 2_m 个_q 方面_n 评价_v 所有_b 的_u 预测_vn 模型_n :_w 计算_vn 耗时_vn 和_c 模型_n 精度_n 。_w</s><s>对于_p 计算_vn 耗时_vn ,_w 本_r 文_n 统计_v 了_u 每_r 个_q 模型_n 在_p 构建_vn 过程_n 中_f 消耗_v 的_u 时间_n ;_w 对于_p 模型_n 精度_n ,_w 本_r 文_n 选择_v 均_d 方根_n 误差_n (_w Root_nx Mean_nx Square_nx Error_nx ,_w RMSE_nx )_w 作为_v 度量_vn 标准_n 。_w</s><s>RMSE_nx 的_u 计算_vn 公式_n 可以_v 表示_v 为_v ,_w 其中_r ,_w f_nx t_n 和_c y_nx t_nx 分别_d 为_v 故障_n 时间_n 序列_n 在_p t_nx 时刻_n 的_u 观测_vn 值_n 和_c 模型_vn 输出_vn 值_n ,_w T_nx 为_v 数据点_n 个数_n 。_w</s><s>本_r 文_Ng 通过_p 对_p 训练集_n 和_c 测试集_n 分别_d 计算_v RMSE_nx 值_n 来_v 定量_v 地_u 评价_v 模型_n 的_u 拟合_vn 和_c 预测_vn 精度_n 。_w</s>
<s>3.1.4_m 平台_n 和_c 环境_n</s>
<s>实验所_n 使用_v 计算机_n 的_u 配置_n 如下_v :_w 处理器_n 为_v 英特尔_nz 酷睿_nz Duo_nx CPU_nx i5-6500_nx ,_w CPU_nx 频率_n 为_v 3.20_m GHz_q 和_c 3.19_m GHz_q ;_w 内存_n 为_v 4.00_m GB_q ;_w 操作_vn 系统_n 为_v Windows_nx 10_m (_w 64_m 位_q )_w ;_w 程序_n 设计_vn 语言_n 为_v Python_nx 3.5.2_m (_w 64_m 位_q )_w 和_c R_nx 3.3.3_m (_w 64_m 位_q )_w ;_w 集成_vn 开发_vn 环境_n 为_v PyCharm_nx Community_nx Edition_nx 2016.3.2_m 和_c Rstudio0.99.903_nx 。_w</s><s>程序_n 设计_vn 过程_n 中_f ,_w RNN_nx 、_w LSTM_nx 和_c GRU_nx 模型_n 由_p Python_nx 的_u tensorflow_nx 0.12.0rc0_m [_w 37_m ]_w 程序包_n 实现_v ,_w Holt-Winters_nx 、_w ARIMA_nx 、_w SSA_nx 、_w MLR_nx 和_c SVR_nx 模型_n 由_p R_nx 的_u stats_nx 3.3.3_m [_w 38_m ]_w 、_w forecast_nx 8.0_m [_w 39_m ]_w 、_w Rssa0.14_nx [_w 40_m ]_w 和_c rminer_nx 1.4.2_m [_w 41_m ]_w 程序包_n 实现_v 。_w</s>
<s>3.2_m 实验_vn 结果_n</s>
<s>首先_c ,_w 以_p 飞机_n A_nx 为_v 例_n ,_w 应用_v 2.1_m 节_q 提出_v 的_u 方法_n 对_p 标准化_v 后_f 的_u 故障_n 时间_n 序列_n 训练_vn 集_Ng 建立_v LSTM_nx 预测_vn 模型_n 。_w</s><s>这里_r 初步_d 根据_p 经验_n 确定_v 模型_n 参数_n ,_w 分割_v 窗口_s 长度_n L_nx 取_v 最_d 小_a 值_n 2_m ,_w 状态_n 向量_n 大小_n S_nx state_nx 取_v 半_m 年_q 的_u 月度_n 故障_n 数据点_n 个数_n 6_m ,_w 随机_b 种子_n 数_n seed_nx =_w 1_m ,_w 训练_vn 步_n 数_n steps_nx =_w 500_m 。_w</s><s>图_n 5_m 展示_v 了_u 相同_a 参数_n 下_f 不同_a 学习率_n (_w η_nx =_w 0.05_m ,_w 0.1_m ,_w 0.5_m )_w 训练_v LSTM_nx 模型_n 的_u 损失_vn 变化_vn 和_c 模型_vn 精度_n 。_w</s><s>可以_v 看出_v :_w 当_p η_nx =_w 0.05_m 和_c η_nx =_w 0.1_m 时_Ng ,_w 最终_d 获得_v 的_u 损失_n 较_d 小_a (_w 0.83_m 左右_m )_w ;_w 3_m 个_q 学习率_n 对应_v 的_u 训练_vn 集_Ng 拟_vn 合_vn 精度_n 基本_ad 相同_a (_w RMSE_nx 值_n 在_p 2.0_m 附近_f )_w ;_w 在_p 3_m 、_w 4_m 、_w 5_m 、_w 6_m 和_c 12_m 个_q 测试_vn 点_n 上_f ,_w η_nx =_w 0.1_m 的_u 预测_vn 精度_n 最高_a (_w RMSE_nx 值_n 最_d 低_a )_w 。_w</s><s>因此_c ,_w 本_r 文_Ng 选定_v η_nx =_w 0.1_m 训练_vn LSTM_nx 模型_n 。_w</s>
<s>为了_p 验证_v LSTM_nx 模型_n 在_p 不同_a 类型_n 循环_vn 神经_n 网络_n 中_f 的_u 优势_n ,_w 本_r 文_Ng 将_p LSTM_nx 模型_n 的_u 隐藏_vn 层_n 细胞_n 替换_v 为_v RNN_nx 和_c GRU_nx 结构_n ,_w 并_c 以_p 相同_a 参数_n 进行_v 实验_vn 。_w</s><s>实验_vn 结果_n 如_v 图_n 6_m 所_u 示_Vg 。_w</s><s>从_p 图_n 中_f 可以_v 看出_v :_w LSTM_nx 和_c GRU_nx 的_u 损失_n 变化_vn 相似_a 并且_c 都_d 优于_v RNN_nx ,_w 对应_v 的_u 训练_vn 集_n 拟_vn 合_vn 精度_n 也_d 较_d 高_a ;_w 在_p 5_m 、_w 6_m 和_c 12_m 个_q 测试_vn 点_n 上_f ,_w LSTM_nx 的_u 预测_vn 精度_n 要_v 高于_v RNN_nx 和_c GRU_nx 。_w</s>
<s>图_n 5_m 不同_a 学习率_n 的_u 损失_n 变化_vn 和_c 模型_vn 精度_n 对比_vn (_w A_nx 飞机_n )_w Fig_nx ._w 5_m Comparison_nx of_y loss_nx change_a and_c model_n accuracy_n with_v different_n learning_a rates_n (_w Aircraft_nx A_nx )_w</s>
<s>为了_p 进一步_d 验证_v LSTM_nx 模型_n 的_u 应用_vn 效果_n ,_w 本_r 文_Ng 采用_v 不同_a 的_u 时间_n 序列_n 预测_vn 模型_n 进行_v 对比_vn ,_w 实验_vn 结果_n 如_v 表_n 1_m 所_u 示_v 。_w</s><s>从_p 表中_s 可以_v 看出_v :_w LSTM_nx 模型_n 的_u 拟_vn 合_vn 精度_n 要_v 低于_v SSA_nx 和_c SVR_nx 模型_n ,_w 但是_c 高于_v 其他_r 6_m 种_q 模型_n ;_w LSTM_nx 模型_n 的_u 整体_n 预测_vn 精度_n 较_d 高_a ,_w 在_p 6_m 和_c 12_m 个_q 测试_vn 点_n 上_f 的_u 预测_vn 精度_n 最高_a (_w RMSE_nx 值_n 分别_d 达到_v 了_u 2.109_m 和_c 2.196_m )_w ;_w LSTM_nx 模型_n 在_p 该_r 参数_n 组合_n 下_f 的_u 计算_vn 耗时_vn 要_v 少于_v ARIMA_nx 模型_n ,_w 但是_c 多于_v 其他_r 8_m 种_q 模型_n 。_w</s>
<s>对于_p B_nx 飞机_n ,_w 实验_vn 流程_n 与_p A_nx 飞机_n 类似_a 。_w</s><s>这里_r 根据_p 经验_n 调整_v 模型_n 参数_n ,_w 令_v 状态_n 向量_n 大小_n S_nx state_nx 仍然_d 取_v 6_m ,_w 分割_v 窗口_s 长度_n L_nx 取_v 一_m 年_q 的_u 月度_n 故障_n 数据点_n 个数_n 12_m ,_w 随机_b 种子_n 数_n seed_nx =_w 100_m ,_w 训练_vn 步_q 数_n steps_nx =_w 1_m 000_m 。_w</s><s>图_n 7_m 展示_v 了_u 相同_a 参数_n 下_f 不同_a 学习率_n (_w η_nx =_w 0.01_m ,_w 0.03_m ,_w 0.05_m )_w 训练_vn LSTM_nx 模型_n 的_u 损失_vn 变化_vn 和_c 模型_vn 精度_n 。_w</s><s>可以_v 看出_v :_w 3_m 个_q 学习_vn 率_n 对应_v 的_u 训练_vn 集_Ng 拟_vn 合_vn 精度_n 基本_ad 相同_a (_w RMSE_nx 值_n 在_p 1.2_m 附近_f )_w ;_w η_nx =_w 0.05_m 时_Ng 存在_v 一定_b 的_u 过_d 拟_v 合_vn 现象_n ,_w 导致_v 预测_vn 精度_n 波动_v 较_d 大_a ;_w 在_p 6_m 和_c 12_m 个_q 测试_vn 点_n 上_f ,_w η_nx =_w 0.03_m 的_u 预测_vn 精度_n 最高_a (_w RMSE_nx 值_n 最_d 低_a )_w 。_w</s><s>因此_c ,_w 本_r 文_Ng 选定_v η_nx =_w 0.03_m 训练_vn LSTM_nx 模型_n 。_w</s>
<s>图_n 6_m 不同_a 隐藏_vn 层_n 细胞_n 的_u 损失_n 变化_vn 和_c 模型_vn 精度_n 对比_vn (_w 学习率_n η_nx =_w 0_m ._m 1_m ,_w A_nx 飞机_n )_w Fig_nx ._w 6_m Comparison_nx of_u loss_nx change_a and_c model_nx accuracy_nx with_v different_a hidden_a layer_nx cells_nx (_w learning_nx rateη_nx =_w 0_m ._m 1_m ,_w Aircraft_nx A_nx )_w</s>
<s>接下来_l ,_w 本_r 文_Ng 替换_v 隐藏_vn 层_n 细胞_n 为_v RNN_nx 和_c GRU_nx 结构_n 并_c 进行_v 实验_vn ,_w 结果_n 如_v 图_n 8_m 所_u 示_v 。_w</s><s>可以_v 看出_v ,_w LSTM_nx 模型_n 无论_c 是_v 在_p 损失_n 变化_vn 还是_c 整体_n 模型_n 精度_n 上_f 都_d 优于_v RNN_nx 和_c GRU_nx 模型_n 。_w</s><s>图_n 9_m 展示_v 了_u LSTM_nx 模型_n 的_u 拟_vn 合_vn (_w 图_n 9_m (_w a_nx )_w )_w 和_c 预测_vn (_w 图_n 9_m (_w b_nx )_w )_w 结果_n ,_w 其中_r 黑色_n 线条_n 分别_d 代表_v 原始_a 故障_n 时间_n 序列_n 数据_n 划分_v 的_u 训练_vn 集_Ng 和_c 测试_vn 集_Ng ,_w 灰色_n 线条_n 分别_d 代表_v LSTM_nx 模型_n 在_p 训练_vn 集_Ng 和_c 测试_vn 集_Ng 上_f 的_u 拟_vn 合_vn 序列_n 和_c 预测_vn 序列_n 。_w</s><s>从_p 图_n 中_f 可以_v 看出_v ,_w 在_p 12_m 个_q 测试_vn 点_n 上_f ,_w LSTM_nx 模型_n 很_d 好_a 地_u 跟踪_v 了_u 真实_a 的_u 故障_n 数据_n ,_w 达到_v 了_u 比较_d 理想_a 的_u 预测_vn 效果_n 。_w</s>
<s>表_n 1_m 不同_a 预测_vn 模型_n 实验_vn 结果_n 对比_vn (_w A_nx 飞机_n )_w Table_nx 1_m Experimental_nx results_nx for_v different_nx prediction_nx models_n (_w Aircraft_nx A_nx )_w</s>
<s>注_v :_w 最_d 小_a RMSE_nx 值_n 和_c 最_d 小_a 耗时_vn 由_p 下_f 划线_n 标记_v 。_w</s>
<s>图_n 7_m 不同_a 学习率_n 的_u 损失_n 变化_vn 和_c 模型_vn 精度_n 对比_vn (_w B_nx 飞机_n )_w Fig_nx ._w 7_m Comparison_nx of_y loss_nx change_a and_c model_n accuracy_n with_v different_n learning_a rates_n (_w Aircraft_nx B_nx )_w</s>
<s>图_n 8_m 不同_a 隐藏_vn 层_n 细胞_n 的_u 损失_n 变化_vn 和_c 模型_vn 精度_n 对比_vn (_w 学习率_n η_nx =_w 0_m ._m 03_m ,_w B_nx 飞机_n )_w Fig_nx ._w 8_m Comparison_nx of_u loss_nx change_a and_c model_nx accuracy_nx with_v different_a hidden_a layer_n cells_nx (_w learning_a rateη_nx =_w 0_m ._m 03_m ,_w Aircraft_nx B_nx )_w</s>
<s>最后_f ,_w LSTM_nx 模型_n 和_c 不同_a 时间_n 序列_n 预测_vn 模型_n 的_u 实验_vn 对比_vn 结果_n 如_v 表_n 2_m 所_u 示_v 。_w</s><s>从_p 表中_s 可以_v 看出_v :_w LSTM_nx 模型_n 的_u 拟_vn 合_vn 精度_n 要_v 低于_v SSA_nx 模型_n ,_w 但是_c 高于_v 其他_r 7_m 种_q 模型_n ;_w LSTM_nx 模型_n 的_u 整体_n 预测_vn 精度_n 较_d 高_a ,_w 在_p 3_m 、_w 6_m 、_w 12_m 个_q 测试_vn 点_n 上_f 的_u 预测_vn 精度_n 最高_a (_w RMSE_nx 值_n 分别_d 达到_v 了_u 1.703_m 、_w 1.237_m 和_c 1.580_m )_w ;_w RNN_nx 、_w GRU_nx 和_c LSTM_nx 模型_n 在_p 该_r 参数_n 组合_n 下_f 的_u 计算_vn 耗时_vn 要_v 明显_ad 多于_v 其他_r 7_m 种_q 模型_n ,_w 并且_c 以_p LSTM_nx 模型_n 耗时_v 最多_a 。_w</s>
<s>图_n 9_m LSTM_n 模型_n 的_u 拟_vn 合_vn 和_c 预测_vn 结果_n (_w 学习率_n η_nx =_w 0.03_m ,_w B_nx 飞机_n )_w Fig_nx ._m 9_m Fitting_n and_c forecasting_nx results_nx with_v LSTM_nx model_n (_w learning_a rateη_nx =_w 0.03_m ,_w Aircraft_nx B_nx )_w</s>
<s>3.3_m 参数_n 优选_vn</s>
<s>在_p 3_m ._m 2_m 节_q 的_u 实验_vn 中_f ,_w LSTM_nx 模型_n 的_u 参数_n 取_v 值_n 主要_d 是_v 通过_p 经验_n 来_v 确定_v 的_u 。_w</s><s>本_r 节_q 应用_v 2.2_m 节_q 提到_v 的_u 多_a 层_q 网格_n 搜索_vn 算法_n ,_w 对_p LSTM_nx 模型_n 的_u 3_m 个_q 关键_a 参数_n 进行_v 优选_vn 。_w</s><s>首先_c ,_w 固定_v 非_h 关键_a 参数_n 取_v 值_n :_w 随机_b 种子_n 数_n seed_nx =_w 1_m ,_w 训练_vn 步_n 数_n steps_nx =_w 500_m ;_w 然后_c ,_w 设定_v 3_m 个_q 参数_n 的_u 取_v 值_n 范围_n :_w 分割_v 窗口_s 长度_n L∈_w {_w 2_m ,_w 3_m ,_w …_n ,_w 24_m }_w ,_w 状态_n 向量_n 大小_n S_nx state_nx ∈_w {_w 2_m ,_w 3_m ,_w …_n ,_w 24_m }_w ,_w 学习率_n η∈_w {_w 0.001_m ,_w 0.003_m ,_w 0.005_m ,_w 0.01_m ,_w 0.03_m ,_w 0.05_m }_w ,_w 其中_r L_nx 和_c S_nx state_nx 的_u 搜索_vn 步长_n 为_v 1_m ;_w 最后_f ,_w 设置_v 目标_n 函数_n 为_v 12_m 个_q 测试_vn 点_n 上_f 预测_vn 精度_n 最高_a (_w RMSE_nx 值_n 最_d 小_a )_w ,_w 应用_v 2.2_m 节_q 中_f 的_u 算法_n 2_m 进行_v 网格_n 搜索_vn 。_w</s>
<s>图_n 10_m 和_c 图_n 11_m 分别_d 展示_v 了_u 针对_p 2_m 个_q 数据源_n (_w A_nx 飞机_n 和_c B_nx 飞机_n )_w 建立_v 2.1_m 节_q 提到_v 的_u LSTM_nx 预测_vn 模型_n 的_u 参数_n 搜索_vn 结果_n 。_w</s><s>在_p 每_r 个_q 子_n 图_n 中_f ,_w 横_b 坐标_n 为_v 分割_vn 窗口_s 长度_n L_nx ,_w 纵_b 坐标_n 为_v 状态_n 向量_n 大小_n S_nx state_nx ,_w Rm_nx 为_v 最_d 小_a RMSE_nx 值_n ;_w 不同_a 子_n 图_n 对应_vn 学习率_n η_nx 的_u 不同_a 取_n 值_n ;_w 网格_n 中_f 的_u 方块_n 面积_n 越_d 大_a 、_w 颜色_n 越_d 深_a 表示_v RMSE_nx 值_n 越_d 小_a 。_w</s><s>从_p 图_n 10_m 和_c 图_n 11_m 中_f 可以_v 看出_v ,_w 当_p L_nx 和_c S_nx state_nx 取_v 值_n 较_d 小_a 时_Ng 更_d 容易_ad 获得_v 较_d 高_a 的_u 预测_vn 精度_n 。_w</s><s>表_n 3_m 和_c 表_n 4_m 分别_d 列出_v 了_u 针对_p 2_m 个_q 数据_n 源_Ng 的_u 前_f 5_m 组_q 最优_z 参数_n 组合_n 以及_c 对应_v 的_u 模型_n 精度_n 。_w</s><s>表_n 1_m 和_c 表_n 2_m 对比_v 可知_v ,_w 优选_v 后_f 的_u LSTM_nx 模型_n 精度_n 明显_ad 提高_v 。_w</s>
<s>表_n 2_m 不同_a 预测_vn 模型_n 实验_vn 结果_n 对比_vn (_w B_nx 飞机_n )_w Table_nx 2_m Experimental_nx results_nx for_v different_nx prediction_nx models_n (_w Aircraft_nx B_nx )_w</s>
<s>注_v :_w 最_d 小_a RMSE_nx 值_n 和_c 最_d 小_a 耗时_vn 由_p 下_f 划线_n 标记_v 。_w</s>
<s>图_n 1_m 0_m LSTM_nx 模型_n 3_m 参数_n 多_a 层_q 网格_n 搜索_vn 结果_n (_w A_nx 飞机_n )_w Fig.10_nx Multilayer_nx grid_nx search_nx results_nx for_v three_nx parameters_n of_w LSTM_nx model_nx (_w Aircraft_nx A_nx )_w</s>
<s>图_n 1_m 1_m LSTM_nx 模型_n 3_m 参数_n 多_a 层_q 网格_n 搜索_vn 结果_n (_w B_nx 飞机_n )_w Fig.11_nx Multilayer_nx grid_n search_nx results_nx for_v three_nx parameters_n of_w LSTM_nx model_nx (_w Aircraft_nx B_nx )_w</s>
<s>表_n 3_m LSTM_nx 模型_n 前_f 5_m 组_q 最_d 优_Ag 参数_n 组合_n 以及_c 对应_v 的_u 模型_n 精度_n (_w A_nx 飞机_n )_w Table_nx 3_m The_nx first_h five_nx groups_nx of_nx optimal_nx parameters_nx andcorresponding_nx model_n accuracy_nx for_v LSTM_nx model_n (_w Aircraft_nx A_nx )_w</s>
<s>表_n 4_m LSTM_nx 模型_n 前_f 5_m 组_q 最_d 优_Ag 参数_n 组合_n 以及_c 对应_v 的_u 模型_n 精度_n (_w B_nx 飞机_n )_w Table_nx 4_m The_nx first_h five_nx groups_nx of_c optimal_nx parameters_n and_c corresponding_nx model_n accuracy_nx for_v LSTM_nx model_n (_w Aircraft_nx B_nx )_w</s>
<s>4_m 结论_n</s>
<s>本_r 文_Ng 提出_v 了_u 基于_p LSTM_nx 循环_vn 神经_l 网络_n 的_u 系统_n 级_b 故障_n 时间_n 序列_n 预测_vn 方法_n ,_w 包括_v 对_p LSTM_nx 模型_n 的_u 训练_vn 、_w 预测_vn 以及_c 参数_n 优选_vn 等_u 内容_n 。_w</s><s>实验_n 验证_v 表明_v :_w</s>
<s>1_m )_w 与_p 典型_a 的_u 时间_n 序列_n 预测_vn 模型_n 相比_v ,_w LSTM_nx 模型_n 的_u 拟_vn 合_vn 和_c 预测_vn 性能_n 整体_n 更_d 优_Ag 。_w</s>
<s>2_m )_w LSTM_nx 模型_n 在_p 训练_vn 过程_n 中_f 的_u 损失_n 变化_vn 和_c 模型_n 精度_n 对_p 学习率_n 的_u 取_v 值_n 较为_d 敏感_a ,_w 过低_d 或_c 过_d 高_a 的_u 学习率_n 可能_v 会_v 导致_v 欠_v 拟_v 合_v 或_c 过_d 拟_v 合_v 问题_n ,_w 影响_v 模型_n 的_u 预测_vn 性能_n 。_w</s>
<s>3_m )_w 与_p 其他_r 类型_n 的_u 循环_vn 神经_n 网络_n (_w RNN_nx 和_c GRU_nx )_w 相比_v ,_w LSTM_nx 模型_n 的_u 拟_vn 合_vn 和_c 预测_vn 精度_n 整体_n 更_d 高_a ,_w 但是_c 训练_vn 过程_n 的_u 耗时_vn 也_d 更_d 多_a 。_w</s>
<s>4_m )_w 基于_p 多_a 层_q 网格_n 搜索_vn 的_u 参数_n 优选_vn 算法_n 效果_n 显著_a ,_w 特别_d 是_v 对于_p 第_m 2_m 个_q 数据源_n (_w B_nx 飞机_n )_w ,_w 在_p 测试_vn 点_n 12_m 上_f 的_u 预测_vn 精度_n (_w RMSE_nx 值_n )_w 达到_v 了_u 0.864_m ,_w 而_c 文献_n [_w 8_m ]_w 中_f 提出_v 的_u 混合_vn 模型_n 其_r 最_d 优_Ag RMSE_nx 值_n 仅_d 为_v 1.879_m 。_w</s>
<s>总的来说_c ,_w 本_r 文_Ng 验证_v 了_u LSTM_nx 模型_n 在_p 可靠性_n 预测_vn 领域_n 中_f 的_u 适用性_n ,_w 扩展_v 了_u 深度_n 学习_vn 技术_n 的_u 应用_vn 范畴_n 。_w</s><s>基于_p 目前_t 的_u 工作_vn ,_w 后续_v 可以_v 展开_v 进一步_b 研究_vn :_w 比如_v 扩展_v 隐藏_vn 层_n 层_n 数_n ,_w 检验_v 多_a 隐藏_vn 层_n LSTM_nx 网络_n 结构_n 的_u 应用_vn 效果_n ;_w 或者_c 从_p 众多_m LSTM_nx 模型_n 参数_n 入手_v ,_w 寻求_v 更_d 有效_a 的_u 参数_n 优化_vn 方法_n 。_w</s><s>此外_c ,_w 本_r 文_Ng 是_v 从_p 历史_n 数据_n 出发_v ,_w 应用_v 数据_n 驱动_v 的_u 技术_n 逆向_d 建立_v 预测_vn 模型_n 。_w</s><s>下_f 一_m 步_q ,_w 可以_v 从_p 可靠性_n 相关_v 的_u 领域_n 知识_n 出发_v ,_w 应用_v 提取_v 出来_v 的_u 关键_a 特征_n 和_c 要素_n 正_d 向_p 研究_v 可靠性_n 预测_vn 方法_n 。_w</s>
