<s>基于_p 深度_n 学习_vn 的_u 医学_n 图像_n 识别_vn 研究_vn 进展_v</s>
<s>刘飞_nr 张俊然_nr 杨豪_nr</s>
<s>四川_ns 大学_n 电气_n 信息_n 学院_n</s>
<s>中国_ns 生物_n 医学_n 工程_n 学报_n 2018_m (_w 01_m )_w</s>

<s>摘要_n ：_w 近年_l 来_f ,_w 随着_p 医学_n 影像_n 技术_n 的_u 快速_d 发展_v ,_w 医学_n 图像_n 分析_vn 步入_v 大数据_n 时代_n ,_w 如何_r 从_p 海量_n 的_u 医学_n 图像_n 数据_n 中_f 挖掘_v 出_v 有用_a 信息_n ,_w 对_p 医学_n 图像_n 识别_vn 带来_v 巨大_a 的_u 挑战_vn 。_w</s><s>深度_n 学习_vn 是_v 机器_n 学习_vn 的_u 一_m 个_q 新_a 领域_n ,_w 传统_n 的_u 机器_n 学习_vn 方法_n 不_d 能_v 有效_a 地_u 挖掘_v 到_v 医学_n 图像_n 中_f 蕴含_v 的_u 丰富_a 信息_n ,_w 而_c 深度_n 学习_vn 通过_p 模拟_v 人脑_n 建立_v 分层_vn 模型_n ,_w 具有_v 强大_a 的_u 自动_b 特征_n 提取_vn 、_w 复杂_a 模型_n 构建_vn 以及_c 高效_b 的_u 特征_n 表达_vn 能力_n ,_w 更_d 重要_a 的_u 是_v 深度_n 学习_vn 方法_n 能_v 从_p 像素_n 级_n 的_u 原始_a 数据_n 中_f 逐级_d 提取_v 从_p 底层_n 到_p 高层_n 的_u 特征_n ,_w 这_r 为_p 解决_v 医学_n 图像_n 识别_vn 面临_v 的_u 新_a 问题_n 提供_v 了_u 新_a 思路_n 。_w</s><s>首先_c 阐述_v 深度_n 学习_vn 方法_n ,_w 列举_v 深度_n 学习_vn 方法_n 的_u 三_m 种_q 常见_a 的_u 实现_vn 模型_n ,_w 并_c 介绍_v 深度_n 学习_vn 的_u 训练_vn 过程_n ;_w 随后_f 总结_v 了_u 深度_n 学习_vn 方法_n 在_p 疾病_n 检测_vn 与_c 分类_vn 和_c 病变_vn 识别_vn 两_m 方面_n 的_u 应用_vn 情况_n ,_w 以及_c 深度_n 学习_vn 应用_vn 在_p 医学_n 图像_n 识别_vn 中_f 的_u 两_m 个_q 共性_n 问题_n ;_w 最后_f 对_p 深度_n 学习_vn 在_p 医学_n 图像_n 识别_vn 中_f 存在_v 的_u 问题_n 进行_v 分析_vn 及_c 展望_vn ._w</s>
<s>基金_n ：_w 广西_ns 高校_j 重点_n 实验室_n 科学_n 基金_n (_w GXSCIIP201411_nx )_w ;_w 四川省_ns 科技_n 计划_n 资助_vn 项目_n (_w 2015HH0036_nx )_w ;_w 成都市_ns 科技_n 惠_Vg 民_Ng 资助_vn 项目_n (_w 2015-HM01-00561-SF_nx )_w</s>
<s>关键_n 词_n ：_w 医学_n 图像_n 识别_vn ;_w 机器_n 学习_vn ;_w 深度_n 学习_vn</s>
<s>作者_n 简介_n ：_w 张俊然_nr ,_w E-mail:zhangjunran@126.com_nx ;_w</s>
<s>收_v 稿_Ng 日期_n ：_w 2016-12-02_m</s>

<s>引言_n</s>
<s>医学_n 图像_n 识别_vn 是_v 综合_vn 医学_n 影像_n 、_w 数学_n 建_vn 模_Ng 、_w 计算机_n 技术_n 等_u 多_a 学科_n 的_u 交叉_vn 领域_n ,_w 在_p 医学_n 图像_n 大数据_n 时代_n ,_w 海量_m 而_c 复杂_a 的_u 图像_n 数据_n 带来_v 两_m 个_q 方面_n 的_u 新_a 问题_n :_w 一_m 方面_c 要_v 处理_v 的_u 医学_n 图像_n 数据_n 维数_j 更_d 高_a ,_w 要求_v 有_v 更_d 强_a 学习_vn 适应_vn 能力_n 的_u 模型_n ;_w 另外_r 一_m 方面_c 医学_n 图像_n 大数据_n 更加_d 分散_v 破碎_a ,_w 数据_n 结构_n 更加_d 复杂_a ,_w 常常_d 需要_v 整合_v 不同_a 的_u 信息_n [_w 1_m ]_w 。_w</s><s>传统_n 的_u 数据_n 分析_vn 方法_n 常常_d 不_d 能_v 满足_v 人们_n 的_u 要求_n ,_w 因此_c 在_p 医学_n 大数据_n 时代_n ,_w 如何_r 从_p 海量_n 医学_n 图像_n 数据_n 中_f 挖掘_v 出_v 有用_a 信息_n ,_w 已_d 成为_v 学术界_n 和_c 工业界_n 的_u 研究_vn 热点_n 。_w</s>
<s>深度_n 学习_vn [_w 2_m ]_w 是_v 机器_n 学习_vn [_w 3_m ]_w 中_f 的_u 新_a 领域_n ,_w 旨_v 在_p 通过_p 模拟_v 人脑_n 自动_d 地_u 学习_v 数据_n 各_r 个_q 层次_n 的_u 抽象_a 特征_n ,_w 从而_c 更_d 好_a 地_u 反映_v 数据_n 的_u 本质_n 特征_n [_w 4_m ]_w 。_w</s><s>自_p 2006_m 年_q ,_w Hinton_nx [_w 2_m ]_w 提出_v 一_m 种_q 基于_p 概率_n 图_n 模型_n 的_u 多_a 层_q 受限_vn 波尔兹曼机_n (_w restricted_nx Boltzmann_nx machine_nx ,_w RBM_nx )_w 后_f ,_w 深度_n 学习_vn 已_d 成为_v 图像_n 处理_vn 和_c 计算机_n 视觉_n 领域_n 的_u 主导_n 工具_n 。_w</s><s>近年_l 来_f ,_w 深度_n 学习_vn 在_p 图像_n 识别_vn [_w 5_m ]_w 、_w 语音_n 识别_vn [_w 6_m -_w 7_m ]_w 、_w 自然_n 语言_n 处理_vn [_w 8_m -_w 9_m ]_w 、_w 计算机_n 视觉_n [_w 10_m -_w 11_m ]_w 等_u 领域_n 取得_v 了_u 巨大_a 的_u 成功_an ,_w 并_c 引发_v 了_u 更_d 多_a 领域_n 利用_v 深度_n 学习_vn 进行_v 数据_n 挖掘_vn 和_c 分析_vn 的_u 热潮_n ,_w 在_p 医学_n 领域_n 也_d 引起_v 相应_vn 专家_n 及_c 公司_n 的_u 重视_vn ,_w 如_v 研发_v 出_v Alpha_nz Go_nx 的_u Google_nx 子公司_n Deep_a Mind_n 宣布_v Deep_a Mind_n Health_nz 健康_an [_w 12_m ]_w ;_w IBM_nz 公司_n 提出_v Watson_nt for_v Oncology_n [_w 13_m ]_w ,_w 通过_p 学习_v 大量_m 数据_n 分析_v 病人_n 的_u 肿瘤_n 影像_n 信息_n ,_w 从而_c 为_p 医生_n 制定_v 可靠_a 的_u 医疗_n 方案_n 提供_v 帮助_vn 。_w</s>
<s>首先_c 介绍_v 深度_n 学习_vn 网络_n 的_u 分类_vn 方式_n 、_w 常见_a 的_u 3_m 种_q 深度_n 学习_vn 模型_n 及_c 深度_n 学习_vn 的_u 训练_vn 过程_n ;_w 然后_c 介绍_v 深度_n 学习_vn 在_p 疾病_n 检测_vn 与_c 分类_vn 和_c 病变_n 识别_vn 中_f 的_u 应用_vn ;_w 最后_f 分析_v 深度_n 学习_vn 方法_n 应用_v 在_p 医学_n 图像_n 识别_vn 中_f 面临_v 的_u 问题_n 并_c 对_p 未来_t 进行_v 展望_vn 。_w</s>
<s>1_m 深度_n 学习_vn 方法_n</s>
<s>深度_n 学习_vn 从_p 人工_b 神经_n 网络_n 发展_v 而_c 来_v ,_w 20_m 世纪_n 80_m 年代_n 用于_v 人工_b 神经_n 网路_n 的_u BP_nx 算法_n 的_u 提出_vn ,_w 开启_v 了_u 基于_p 统计_vn 学习_vn 的_u 机器_n 学习_vn 热潮_n ,_w 但_c 在_p 随后_d 的_u 训练_vn 过程_n 发现_v ,_w BP_nx 算法_n 存在_v 收敛_vn 速度_n 慢_a 、_w 易_ad 陷入_v 局部_n 最_d 小_a 等_u 缺陷_n [_w 14_m ]_w 。_w</s><s>20_m 世纪_n 90年代_t ,_w 各_r 种_q 浅_a 层_q 机器_n 学习_vn 模型_n 如_v boosting_nx [_w 15_m ]_w 、_w SVM_nx [_w 16-17_m ]_w 等_u 被_p 提出_v ,_w 这些_r 模型_n 在_p 理论_n 上_f 和_c 应用_vn 中_f 都_d 获得_v 了_u 巨大_a 的_u 成功_an ,_w 但_c 由于_c 训练_vn 方法_n 需要_v 很多_m 经验_n 和_c 技巧_n ,_w 使得_v 浅_a 层_q 的_u 机器_n 学习_vn 长_a 时间_n 处于_v 平静_a 期_Ng 。_w</s><s>直_v 到_v 2006_m 年_q 深度_n 信任_vn 网络_n 的_u 提出_vn [_w 4_m ]_w ,_w 开启_v 了_u 对_p 深度_n 学习_vn 研究_vn 的_u 新_a 篇章_n ,_w 其中_r 2012_m 年_q Hinton_nx 采用_v CNN_nx 模型_n 赢得_v Image_nx Net_n 图像_n 分类_vn 的_u 冠军_n ,_w 准确率_n 比_p 第二_m 名_q 提高_v 10%_m 以上_f [_w 18_m ]_w ,_w 在_p 计算机_n 视觉_n 领域_n 取得_v 了_u 突破性_n 的_u 进展_vn 。_w</s><s>此后_t 随着_p 用于_v 序列_n 数据_n 建_v 模_Ng 的_u 递_vn 归_vn 神经_n 网络_n (_w recurrent_nx neural_nx networks_n ,_w RNN_nx )_w [_w 19_m -_w 20_m ]_w 、_w 自然_n 语言_n 处理_vn 和_c 音_n 素_n 识别_vn 的_u 深度_n 条件_n 随_p 机场_n (_w deep_nx -_w structured_nx conditional_nx random_n fields_nx ,_w DCRF_nx )_w [_w 21_m -_w 22_m ]_w 、_w 图像_n 处理_vn 的_u 深层_b 残_Ag 差_n 网络_n (_w deep_nx residual_nx networks_n ,_w DRN_nx )_w [_w 23_m -_w 24_m ]_w 等_u 模型_n 的_u 出现_vn 和_c 各_r 种_q 深度_n 学习_vn 算法_n 的_u 提出_vn 及_c GPU_nx 计算_vn 能力_n 的_u 提升_vn ,_w 使得_v 深度_n 学习_vn 在_p 图像_n 识别_vn 、_w 语音_n 识别_vn 等_u 众多_m 领域_n 取得_v 了_u 巨大_a 的_u 成功_an ,_w 2016_m 年_n Goole_nx Alpha_nx 与_c 李世石_nr 的_u 人机_n 围棋_n 大赛_vn 使得_v 深度_n 学习_vn 技术_n 广_ad 为_p 人_n 知_v 。_w</s>
<s>深度_n 学习_vn 的_u 目的_n 在于_v 通过_p 构建_v 多_a 层_q 隐层_b 的_u 机器_n 学习_vn 模型_n 和_c 海量_n 训练_vn 数据_n 来_v 学习_v 更_d 有用_a 的_u 特征_n ,_w 从而_c 提高_v 分类_v 或_c 预测_v 的_u 准确性_n [_w 25_m ]_w 。_w</s><s>与_p 传统_n 的_u 浅_a 层_n 学习_vn 相比_v ,_w 深度_n 学习_vn 具有_v 如下_vn 特点_n :_w 一_m 是_v 特征_n 学习_vn ,_w 深度_n 学习_vn 方法_n 能够_v 根据_p 不同_a 的_u 应用_vn 自动_d 从_p 海量_n 数据_n 中_f 学习_v 到_v 所_u 需_v 的_u 高级_a 特征_n 表示_v ,_w 更_d 能_v 表达_v 数据_n 的_u 内在_b 信息_n 。_w</s><s>二_m 是_v 深层_b 结构_n ,_w 深度_n 学习_vn 模型_n 结构_n 深_a ,_w 通常_d 拥有_v 5_m 层_q 甚至_d 更_d 多_a 层_q 的_u 隐层_b 节点_n ,_w 包含_v 更_d 多_a 的_u 非线性_b 变换_vn ,_w 使得_v 拟_v 合_v 复杂_a 模型_n 的_u 能力_n 大大_d 增强_v 。_w</s><s>三_m 是_v 无_v 监督_vn 学习_vn ,_w 输入_v 的_u 数据_n 只有_v 本身_r 数据_n 信息_n ,_w 没有_v 标签_n 信息_n ,_w 深度_n 学习_v 未_d 标记_v 数据_n 的_u 模式_n ;_w 通过_p 数据_n 内在_v 的_u 一些_m 特征_n 和_c 联系_vn 将_p 数据_n 自动_d 分类_v 。_w</s><s>通过_p 在_p 训练_vn 过程_n 中_f 加入_v 无_v 监督_vn 学习_vn 作为_v 预_d 训练_v ,_w 使得_v 深度_n 学习_vn 模型_n 相比_v 人工_b 神经_n 网络_n 具有_v 更_d 好_a 的_u 分类_vn 能力_n 。_w</s>
<s>1_m ._w 1_m 深度_n 学习_vn 网络_n 的_u 分类_vn</s>
<s>深度_n 学习_vn 是_v 通过_p 多_a 层_q 非线_b 信息_n 处理_vn 方法_n 来_v 构建_v 深层_b 网络_n [_w 26_m ]_w ,_w 根据_p 结构_n 的_u 不同_an 分为_v 如下_v 3_m 类_q [_w 27_m ]_w :_w 生成_vn 式_k 深层_b 网络_n 、_w 有_v 监督_vn (_w 判别_vn 式_k )_w 深层_b 网络_n 、_w 混合_vn 深层_b 网络_n 。_w</s>
<s>1_m )_w 生成_vn 式_k 深层_b 网络_n :_w 通过_p 学习_v 观测_vn 数据_n 高阶_n 相关性_n ,_w 或_c 观测_vn 数据_n 和_c 关联_vn 类别_n 之间_f 的_u 统计_vn 特征_n 分布_vn 来_v 实现_v 模式_n 分类_vn 的_u 一_m 类_q 深层_b 结构_n [_w 28_m ]_w ,_w 用于_v 在_p 没有_v 目标_n 类_n 标签_n 信息_n 的_u 情况_n 下_f 捕捉_v 观测_v 到_v 的_u 或_c 可见_v 数据_n 的_u 高阶_n 相关性_n 。_w</s><s>常见_a 的_u 生成_vn 式_k 模型_n 是_v 深层_b 玻尔兹曼机_n (_w deep_nx Boltzmann_nx machine_n ,_w DBM_nx )_w [_w 29_m ]_w 、_w 和_n 积_vn 网络_n (_w sum_nx -_w product_nx network_nx ,_w SPN_nx )_w [_w 30_m ]_w 、_w 递_vn 归_vn 神经_n 网络_n (_w recurrent_nx neural_nx networks_nx ,_w RNN_nx )_w [_w 19_m -_w 20_m ]_w 等_u 。_w</s>
<s>2_m )_w 有_v 监督_vn (_w 判别_vn 式_k )_w 深层_b 网络_n :_w 描述_v 在_p 可见_v 数据_n 条件_n 下_f 的_u 类别_n 后_f 验_v 分布_vn [_w 31_m ]_w ,_w 目标_n 类别_n 标签_n 以_p 直接_a 或者_c 间接_b 的_u 形式_n 给出_v ,_w 因此_c ,_w 有_v 监督_vn 深度_n 网络_n 也_d 称为_v 判别_vn 式_k 深度_n 网络_n 。_w</s><s>深度_n 堆叠_vn 网络_n (_w deep_nx stacking_nx network_nx ,_w DSN_nx )_w [_w 32_m ]_w 、_w 深度_n 结构_n 条件_n 随_v 机场_n (_w deepstructured_nx conditional_nx random_nx fields_nx ,_w DCRF_nx )_w [_w 33_m -_w 34_m ]_w 是_v 典型_a 的_u 有_v 监督_vn 学习_vn 深度_n 网络_n 。_w</s>
<s>3_m )_w 混合_vn 深层_b 网络_n :_w 将_p 生成_vn 式_k 深层_b 结构_n 与_p 判别_vn 式_k 深层_b 结构_n 相_d 结合_v 的_u 一_m 类_q 深层_b 结构_n 。_w</s><s>通常_d 情况_n 下_f ,_w 数据_n 被_p 用于_v 作为_v 预_d 训练_vn 网络_n 的_u 权重_n ,_w 以_p 加快_v 监督_vn 阶段_n 学习_vn 过程_n ,_w 无_v 监督_vn 深度_n 网络_n 的_u 结果_n 作为_v 重要_a 辅助_vn [_w 35_m ]_w ,_w 预_d 训练_vn 深度_n 神经_n 网络_n (_w pre_nx -_w trained_nx deep_nx nerual_nx networks_nx ,_w PDNN_nx )_w [_w 36_m ]_w 是_v 一_m 种_q 混合_vn 深度_n 网络_n 。_w</s>
<s>1_m ._w 2_m 深度_n 学习_vn 模型_n</s>
<s>深度_n 学习_vn 方法_n 的_u 模型_n 种类_n 较_d 多_a ,_w 其中_r 比较_d 常用_a 的_u 模型_n 是_v 深度_n 自_d 编码_n 网络_n (_w deep_a auto_nx -_w encoder_nx network_n ,_w DAN_nx )_w 、_w 深度_n 信念_n 网络_n (_w deep_nx belief_nx network_n ,_w DBN_nx )_w 、_w 卷_vn 积_vn 神经_n 网络_n (_w convolution_n neural_nx network_n ,_w CNN_nx )_w ,_w 近年_t 来_f 还_d 出现_v 了_u 许多_m 新_a 的_u 深度_n 模型_n ,_w 如_v 循环_vn 神经_n 网络_n 模型_n (_w recurrent_nx neural_nx nets_nx ,_w RNN_nx )_w [_w 37_m ]_w 、_w 张_v 量_n 堆叠_vn 网络_n 模型_n (_w tensor_nx deep_nx stacking_nx network_n ,_w TDSN_nx )_w [_w 38_m ]_w ,_w 本_r 节_q 介绍_v 常见_a 的_u 3_m 种_q 深度_n 学习_vn 模型_n 及其_c 构建_vn 方法_n 。_w</s>
<s>1.2.1_m 深度_n 自动_b 编码_n 器_n DAE_nx</s>
<s>Bengio_nr 等_u 通过_p 改进_v 原型_n 自动_b 编码_n 器_n 结构_n (_w 如_v 图_n 1_m 所_u 示_v )_w ,_w 产生_v 了_u 深度_n 自_d 编码_n 器_n (_w deep_a autoencoder_nx ,_w DAE_nx )_w [_w 39_m ]_w ,_w 深度_n 自_d 编码_n 器_n 的_u 基本_a 元件_n 是_v AE_nx ,_w AE_nx 包含_v 一_m 个_q 输入_vn 层_n 、_w 一_m 个_q 隐层_n 、_w 一_m 个_q 输出_vn 层_n ,_w AE_nx 主要_d 用于_v 学习_v 压缩_v 的_u 或_c 过_d 完备_a 的_u 特征_n 表示_v ,_w 当_p 自_r 编码_n 器_n 包含_v 多_a 个_q 隐层_n 时_Ng 就_d 形成_v 了_u DAE_nx 。_w</s><s>DAE_nx 是_v 一_m 类_q 经过_p 无_v 监督_vn 逐_Vg 层_q 贪心_a 预_d 训练_v 和_c 系统性_n 参数_n 优化_v 的_u 多_a 层_q 非线性_b 网络_n ,_w 从_p 无_v 标签_n 数据_n 中_f 提取_v 高维_n 输入_vn 数据_n 的_u 分层_vn 特征_n ,_w 并_c 得到_v 原始_a 数据_n 的_u 分布式_n 特征_n 表示_v 的_u 深度_n 学习_v 神经_n 网络_n 结构_n [_w 40_m ]_w 。_w</s>
<s>图_n 1_m 原型_n 自动_b 编码器_n [_w 41_m ]_w Fig.1_nx Prototype_nx Automatic_nx Encoder_nx [_w 41_m ]_w</s>
<s>DAE_nx 的_u 构建_vn 主要_d 有_v 两_m 步_q :_w 第一_m 步_q ,_w 改进_v 原型_b 自动_b 编码_n 器_n ,_w 通过_p 增加_v 隐含_vn 层_n 和_c 神经元_n 的_u 数量_n 、_w 调整_v 隐含_b 层_n 的_u 节点_n 分布_vn 、_w 改变_v 权_n 值_n 的_u 分享_vn 方式_n 等_u 途径_n 构建_v DAE_nx 的_u 基本_a 结构_n ;_w 第二_m 步_q ,_w 根据_p 不同_a 的_u 任务_n 选取_v 合适_a 的_u 代价_n 函数_n 及_c 优化_vn 策略_n 、_w 隐含_v 层_n 品质_n 因数_n 、_w 系统性_n 参数_n 优化_v 的_u 性能_n 指数_n 等_u 确定_v DAE_nx 的_u 训练_vn 方案_n [_w 41_m ]_w 。_w</s><s>编码_n 器_n 在_p 输入_vn 数据_n 中_f 加入_v 含有_v 一定_b 统计_vn 特性_n 的_u 噪声_n ,_w 构成_v 基于_p 统计_vn 理论_n 的_u DAE_nx ,_w 在_p 原型_n 自动_b 编码_n 器_n 的_u 代价_n 函数_n 表达式_n 中_f 加入_v 解析_v 性_n 收缩_vn 惩罚_vn 因子_n ,_w 就_d 构成_v 了_u 基于_p 鲁棒_n 理论_n 的_u DAE_nx 。_w</s>
<s>1.2.2_m 深度_n 信念_n 网络_n DBN_nx</s>
<s>2006_m 年_q ,_w Hinton_nx 提出_v DBN_nx [_w 4_m ]_w ,_w 开启_v 了_u 机器_n 学习_vn 第二_m 次_q 浪潮_n —_w —_w —_w 深度_n 学习_vn 。_w</s><s>将_p 多_a 个_q 限制_vn 玻尔兹曼机_n (_w restricted_nx Boltzmann_nx machine_nx ,_w RBM_nx )_w 堆叠_v 得到_v 深度_n 波尔兹曼机_n (_w deep_nx Boltzmann_nx machine_nx ,_w DBM_nx )_w ,_w 如果_c 靠近_v 数据_n 层_n 的_u 部分_m 层_n 之间_f 的_u 连接_vn 为_v 有_v 向_Ng 连接_vn ,_w 即_v 为_v DBN_nx [_w 42_m ]_w ,_w 如_v 图_n 2_m 所_u 示_v 。_w</s><s>DBN_nx 的_u 基本_a 单元_n 是_v RBM_nx ,_w 单个_b RBM_nx 包含_v 一_m 个_q 由_p 随机_b 的_u 隐_b 单元_n 构成_v 的_u 隐_b 层_n (_w 一般_ad 是_v 伯努利_nr 分布_vn )_w 和_c 一_m 个_q 由_p 随机_b 的_u 可见_vn 单元_n 构成_v 的_u 可见_vn 层_n (_w 一般_ad 是_v 伯努利_nr 分布_v 或_c 高斯_n 分布_vn )_w :_w 其中_r 隐_b 层_n 和_c 可见_vn 层_n 之间_f 是_v 双向_d 连接_v ,_w 隐_b 单元_n 两_m 两_m 之间_f 、_w 可见_v 单元_n 两_m 两_m 之间_f 无_v 连接_vn ;_w RBM_nx 采用_v 对比_vn 梯度_n 算法_n (_w contrastive_nx divergence_nx ,_w CD_nx )_w 对_p 无_v 标签_n 样本_n 进行_v 训练_vn ,_w 属于_v 无_v 监督_vn 学习_vn 算法_n ;_w DBN_nx 通过_p 组合_v 许多_m RBM_nx ,_w 把_p 上_f 一_m 层_q RBM_nx 的_u 特征_n 激励_vn 作为_v 下_f 一_m 层_q 的_u 训练_vn 数据_n ,_w 从而_c 可以_v 对_p 隐_b 层_n 的_u 数据_n 特征_n 进行_v 高效_b 的_u 学习_vn [_w 35_m ]_w 。_w</s>
<s>图_n 2_m 深度_n 信念_n 网络_n [_w 43_m ]_w Fig.2_nx Deep_nx belief_nx network_n [_w 43_m ]_w</s>
<s>DBN_nx 的_u 构建_vn 步骤_n 如_v 下_v :_w</s>
<s>步骤_n 1_m ,_w 首先_c 充分_ad 训练_v 第一_m 个_q RBM_nx ,_w 将_p 训练_v 得到_v 的_u 权_n 重_n 和_c 偏移_vn 量_n 固定_v ,_w 并_c 将_p 隐_b 层_n 作为_v 第二_m 个_q RBM_nx 的_u 输入_vn 向量_n 。_w</s>
<s>步骤_n 2_m ,_w 采用_v 同样_b 的_u 方法_n 训练_v 第二_m 个_q RBM_nx ,_w 并_c 将_p 第二_m 个_q RBM_nx 堆叠_v 在_p 第一_m 个_q RBM_nx 的_u 上方_f 。_w</s>
<s>步骤_n 3_m ,_w 重复_v 前面_f 两_m 个_q 步骤_n 得到_v 多_a 个_q RBM_nx ,_w 最后_f 将_p 多_a 个_q RBM_nx 按_p 顺序_n 堆叠_v 在_p 一起_s 就_d 得到_v DBN_nx 。_w</s><s>其中_r 堆叠_v 的_u 过程_n 是_v :_w 训练_v 一_m 个_q 高斯_nr -_w 伯努利_nr RBM_nx 或者_c 伯努利_nr -_w 伯努利_nr RBM_nx 后_f ,_w 将_p 隐_b 层_n 的_u 激活_vn 概率_n 作为_v 下_f 一_m 层_q 伯努利_nr -_w 伯努利_nr RBM_nx 的_u 可见_vn 层_n 输入_vn 数据_n ,_w 依次_d 类推_v ,_w 这_r 种_q 堆叠_vn 过程_n 达到_v 最_d 大_a 似然_b 学习_vn 效果_n ,_w 且_c 是_v 无_v 监督_vn 学习_vn 过程_n ,_w 因此_c 不_d 需要_v 标签_n 信息_n 。_w</s>
<s>1.2.3_m 卷_vn 积_vn 神经_n 网络_n CNN_nx</s>
<s>CNN_nx 是_v 受_v 生物学_n 上_f 的_u 感受_vn 野_a 机制_n 而_c 提出_v 的_u ,_w 经过_p 不断_d 的_u 改进_vn 最终_d 发展_v 成_v 一_m 个_q 特别_d 适合_v 图像_n 处理_vn 的_u 深度_n 学习_vn 模型_n ,_w 同时_c CNN_nx 是_v 一_m 种_q 特殊_a 的_u 神经_n 网络_n 模型_n :_w 一_m 方面_c ,_w CNN_nx 除了_p 全_a 连接_vn 层_n 与_c 输出_vn 层_n 之外_f 的_u 神经元_n 之间_f 采用_v 部分_m 连接_vn ,_w 而_c 传统_n 的_u 神经_n 网络_n 都_d 是_v 采用_v 全_d 连接_v 的_u 方式_n ,_w 这_r 就_d 使得_v 传统_n 的_u 神经_n 网络_n 训练_vn 耗时_v 且_c 难以_d 训练_v ;_w 另_r 一_m 方面_c ,_w CNN_nx 在_p 同_v 一_m 层_n 的_u 神经元_n 之间_f 共享_v 权_n 值_n ,_w 通过_p 权_n 值_n 的_u 共享_vn 既_c 减少_v 了_u 权_n 值_n 的_u 数量_n 又_c 降低_v 了_u 网络_n 模型_n 的_u 复杂_a 度_n 。_w</s><s>目前_t 在_p 国际_n 标准_a 的_u Image_nx Net_n 数据集_n 上_f ,_w 许多_m 成功_a 的_u 模型_n 都_d 是_v 基于_p CNN_nx ,_w 如_v 大_a 规模_n 图像_n 识别_vn 的_u 深度_n 学习_vn 网络_n Goog_nx Le_nx Net_n [_w 44_m ]_w 和_c Adam_nx [_w 45_m ]_w 以及_c Le_nx Net_n -_w 5_m [_w 46_m ]_w 等_u 。_w</s>
<s>CNN_nx 的_u 基本_a 单元_n 是_v stage_nx ,_w 其_r 结构_n 如_v 图_n 3_m 所_u 示_v ,_w 每_r 个_q stage_nx 模块_n 都_d 是_v 由_p 卷_n 积_vn 层_n (_w convolution_nx layer_n )_w 和_c 池_vn 化_vn 层_n (_w pooling_n player_nx )_w 组成_v [_w 47_m ]_w ,_w 卷_n 积_vn 层_n 用于_v 增强_v 原始_a 信号_n 、_w 提高_v 信_n 噪_j 比_n ,_w 且_c 通过_p 权_n 值_n 的_u 共享_vn 减少_v 了_u 模型_n 的_u 训练_vn 参数_n 和_c 计算_v 的_u 复杂_a 度_n ;_w 池_vn 化_vn 层_n 通过_p 减少_v 卷_n 积_vn 层_n 之间_f 的_u 连接_vn ,_w 进一步_d 减少_v 训练_v 的_u 数据_n 量_n ,_w 同时_c 对_p 卷_n 积_vn 层_n 的_u 输出_vn 进行_v 降_v 采样_vn ,_w 达到_v 减少_v 下_f 一_m 层_q 的_u 数据_n 的_u 效果_n [_w 48_m ]_w 。_w</s><s>通过_p 将_p 多_a 个_q stage_nx 堆叠_v 在_p 一起_s ,_w 并_c 在_p 模型_n 的_u 末端_n 加入_v 全_a 连接_vn 层_n 和_c 分类_vn 器_n 就_d 构成_v CNN_nx 。_w</s>
<s>图_n 3_m CNN_nx 的_u 基本_a 结构_n 单元_n stage_n [_w 47_m ]_w Fig.3_m Stage_n is_nx the_r basic_nx unit_n of_y the_r convolutional_a neural_n network_n [_w 47_m ]_w</s>
<s>1.3_m 深度_n 学习_vn 训练_vn 过程_n</s>
<s>深度_n 学习_vn 从_p 人工_b 神经_n 网络_n 发展_v 而_c 来_v ,_w 训练_vn 方法_n 继承_v 了_u 人工_b 神经_n 网络_n 的_u 反向_b 传播_vn 方法_n 和_c 梯度_n 下降_vn 方法_n ,_w 反向_b 传播_vn 算法_n [_w 49_m ]_w (_w back_nx propagation_nx ,_w BP_nx )_w 是_v 从_p 大量_m 样本_n 数据_n 中_f 学习_v 到_v 统计_vn 规律_n ,_w 从而_c 对_p 测试_vn 样本_n 做出_v 判别_vn 。_w</s><s>相比_v 人工_d 提取_v 特征_n ,_w 反向_b 传播_vn 算法_n 消除_v 了_u 手工_d 设计_v 的_u 影响_vn ,_w 具有_v 很_d 大_a 的_u 优越性_n ,_w 但_c 采用_v BP_nx 算法_n 训练_v 深层_b 结构_n 的_u 网络_n 时_Ng 存在_v 以下_f 两_m 个_q 问题_n :_w 一_m 是_v BP_nx 算法_n 主要_d 解决_v 复杂_a 的_u 非线性_b 问题_n ,_w 网络_n 的_u 权_n 值_n 沿着_p 局部_n 方向_n 逐渐_d 调整_v ,_w 使得_v 权_n 值_n 收敛_v 到_v 局部_n 极_d 小_a 点_n ,_w 从而_c 导致_v 整个_b 网络_n 训练_vn 失败_v ;_w 二_m 是_v 训练_vn 速度_n 慢_a ,_w 而且_c 在_p 训练_v 深_a 层次_n 结构_n 的_u 网络_n 时_Ng 效果_n 不_d 明显_a 。_w</s>
<s>批量_m 梯度_n 下降_vn 法_n 、_w 随机_b 梯度_n 下降_vn 法_n 是_v 对_p BP_nx 算法_n 进行_v 改进_vn 的_u 优化_vn 方法_n 。_w</s><s>批量_b 梯度_n 下降_vn 法_n [_w 50_m ]_w 是_v 最_d 原始_a 的_u 梯度_n 下降_vn 法_n ,_w 通过_p 最小化_v 所有_b 训练_vn 样本_n 的_u 损失_vn 函数_n 使得_v 最终_d 求解_v 的_u 是_v 全局_n 最优_a 解_n ,_w 它_r 的_u 优点_n 是_v 得到_v 一_m 个_q 全局_n 最优_d 解_n ,_w 而且_c 易于_v 实现_v 并行_v ,_w 但_c 批量_m 梯度_n 下降_vn 每_r 次_q 学习_v 都_d 要_v 使用_v 整个_b 训练_vn 集_Ng ,_w 可能_v 导致_v 非_h 凸_Ag 函数_n 收敛_v 于_p 局部_n 极_n 值_n 点_n ,_w 同时_c 训练_vn 过程_n 会_v 随着_p 样本_n 数量_n 的_u 加大_vn 导致_v 训练_vn 时间_n 过_d 长_a 。_w</s><s>随机_b 梯度_n 下降_vn 法_n [_w 51_m ]_w 是_v 通过_p 对_p 所有_b 样本_n 进行_v 随机_b 选择_vn 最_d 小_a 化_v ,_w 每_r 条_q 样本_n 的_u 损失_vn 函数_n 来_v 求解_v 最优_Ag 解_Ng ,_w 在_p 更新_v 模型_n 参数_n 时_Ng 只_d 选择_v 一_m 个_q 样本_n 。_w</s><s>其_r 优点_n 是_v 训练_vn 速度_n 快_a ,_w 但_c 随机_b 梯度_n 下降_vn 法_n 需要_v 人为_d 调整_v 很多_m 超_b 参数_n ,_w 如_v 学习_vn 速率_n 、_w 收敛_vn 准则_n 、_w 层_n 数_n 以及_c 每_r 层_q 的_u 单元_n 个数_n 等_u ,_w 这些_r 超_h 参数_n 若_c 选择_v 不当_a 可能_v 导致_v 每_r 次_q 更新_vn 不_d 会_v 按照_p 全局_n 的_u 方向_n 进行_v 。_w</s>
<s>在_p 深度_n 学习_vn 模型_n 中_f 涉及_v 多_a 个_q 非线性_b 处理_vn 单元_n 层_n ,_w 优化_vn 目标_n 为_v 非_h 凸_Ag 函数_n ,_w 当_p 使用_v 批量_m 梯度_n 下降_vn 法_n 、_w 随机_b 梯度_n 下降_vn 法_n 来_v 训练_v 深层_b 网络_n 时_Ng ,_w 会_v 出现_v 训练_vn 时间_n 过_d 长_a 、_w 梯度_n 不_d 稳定_a 、_w 目标_n 函数_n 常常_d 陷入_v 局部_n 最_d 优等_b 问题_n ,_w 同时_c 随着_p 网络_n 层_n 数_n 的_u 增加_vn ,_w 局部_n 最优_v 的_u 情况_n 越来越_d 严重_a [_w 26_m ]_w 。_w</s><s>为了_p 克服_v 这_r 一_m 问题_n ,_w Hinton_nx 提出_v 一_m 种_q 贪婪_a 逐_Vg 层_q 预_d 训练_vn 方法_n [_w 4_m ]_w :_w 首先_c 逐_Vg 层_q 构建_v 单层_b 神经元_n ,_w 并_c 每_r 次_q 训练_v 一_m 个_q 单层_b 网络_n ,_w 然后_c 在_p 所有_b 层_q 都_d 训练_v 完成_v 后_f 采用_v wake-sleep_nx 算法_n [_w 52_m ]_w 进行_v 调_vn 优_vn ,_w 该_r 方法_n 通过_p 在_p 非_h 监督_vn 数据_n 上_f 建立_v 多_a 层_q 神经_n 网络_n 的_u 方法_n 有效_ad 克服_v 了_u 训练_vn 过程_n 中_f 梯度_n 下降_vn 法_n 的_u 局部_n 最_d 小_a 值_n 和_c 梯度_n 不_d 稳定_a 的_u 缺点_n 。_w</s>
<s>Hinton_nx 提出_v 的_u 贪婪_a 逐_Vg 层_q 预_d 训练_v 方法_n 在_p 训练_vn 过程_n 中_f 加入_v 无_v 监督_vn 学习_vn 作为_v 预_d 训练_vn ,_w 这_r 是_v 目前_t 深度_n 学习_vn 模型_n 的_u 训练_vn 过程_n 与_p 人工_b 神经_n 网络_n 训练_vn 的_u 主要_b 区别_n 。_w</s><s>总结_v 起来_v ,_w 深度_n 学习_vn 训练_vn 过程_n 大致_d 可以_v 分_v 以下_f 两_m 步_q :_w</s>
<s>1_m )_w 自下而上_l 的_u 非_h 监督_vn 学习_vn :_w 采用_v 无_v 标签_n 数据_n 从_p 底层_n 开始_v 逐层_d 向上_v 分层_v 训练_v 各_r 层_q 参数_n ,_w 具体_ad 来_v 说_v 就_d 是_v 先_d 采用_v 无_v 标签_n 数据_n 训练_v 第一_m 层_q ,_w 训练_v 时_Ng 先_d 学习_v 第一_m 层_q 的_u 参数_n ,_w 然后_c 将_p 第一_m 层_q 的_u 输出_vn 作为_v 第二_m 层_q 的_u 输入_vn ,_w 依次_d 类推_v ,_w 直_v 至_v 训练_v 到_v 最_d 顶层_f ,_w 由此_d 得到_v 各_r 层_q 的_u 参数_n ,_w 由于_p 模型_n 容量_n 限制_vn 以及_c 稀疏_a 性_n 约束_vn ,_w 使得_v 得到_v 的_u 模型_n 能够_v 学习_v 到_v 数据_n 本身_r 的_u 结构_n ,_w 从而_c 更_d 具_Vg 表示_v 能力_n 的_u 特征_n ,_w 这个_r 过程_n 可以_v 看作_v 是_v 一_m 个_q 无_v 监督_vn 训练_vn 过程_n ,_w 是_v 与_p 传统_n 神经_n 网络_n 区别_v 最_d 大_a 的_u 部分_n ;_w</s>
<s>2_m )_w 自上而下_l 的_u 监督_vn 学习_vn :_w 在_p 第一_m 步_q 学习_v 各_r 层_q 参数_n 的_u 基础_n 上_f ,_w 在_p 网络_n 的_u 最_d 顶层_f 添加_v 一_m 个_q 分类_vn 器_n ,_w 通过_p 带_v 标签_n 的_u 数据_n 训练_vn ,_w 使_v 误差_n 自_p 上_f 向_p 下_f 传输_v ,_w 从而_c 对_p 网络_n 进行_v 调_vn 优_vn ,_w 然后_c 再_d 利用_v 第一_m 步_q 中_f 得到_v 的_u 各_r 层_q 参数_n 进一步_d 微调_v 整个_b 多_a 层_q 模型_n 的_u 参数_n ,_w 这_r 一_m 过程_n 可以_v 看成_v 是_v 一_m 个_q 有_v 监督_vn 训练_vn 的_u 过程_n 。_w</s>
<s>2_m 深度_n 学习_vn 在_p 医学_n 图像_n 识别_vn 中_f 的_u 应用_vn</s>
<s>深度_n 学习_vn 广泛_ad 应用_v 于_p 医学_n 图像_n 识别_vn 中_f ,_w 通过_p 在_p 给定_v 的_u 数据_n 集上_n 训练_vn 模型_n 来_v 完成_v 新_a 数据_n 上_f 的_u 特定_b 任务_n ,_w 而_c 在_p 传统_n 的_u 医学_n 图像_n 识别_vn 方法_n 是_v :_w 基于_p 多_a 特征_n 融合_vn 方法_n 、_w 基于_p 奇异_a 值_n 分解_vn 和_c 小_a 波_n 变换_vn 方法_n ,_w 对于_p 特征_n 的_u 提取_vn 效率_n 低_a 且_c 挖掘_v 到_v 的_u 信息_n 有限_a ,_w 识别_vn 效果_n 不_d 理想_a 。_w</s><s>相比_v 传统_n 的_u 医学_n 图像_n 识别_vn 方法_n ,_w 深度_n 学习_vn 能够_v 挖掘_v 到_v 医学_n 图像_n 中_f 潜在_b 的_u 非线性_b 关系_n ,_w 特征_n 提取_vn 效率_n 更_d 高_a 。_w</s><s>近年_l 来_f ,_w 已_d 有_v 不少_m 的_u 研究_vn 人员_n 将_d 深度_n 学习_v 应用_v 在_p 医学_n 图像_n 识别_vn 中_f ,_w 这些_r 工作_vn 为_p 进一步_b 的_u 临床_vn 应用_vn 研究_vn 提供_v 了_u 重要_a 的_u 依据_n 。_w</s><s>疾病_n 检测_vn 与_c 分类_vn 是_v 针对_p 一_m 批_q 样本_n 人群_n 进行_v 的_u ,_w 以_c 确定_v 某个_r 样本_n 是否_v 患病_v 或者_c 其_r 患病_vn 程度_n 如何_r ;_w 而_c 病变_vn 识别_vn 一般_ad 是_v 针对_p 某个_r 样本_n 自身_r 医学_n 图像_n 中_f 某个_r 病变_vn 部位_n 和_c 其他_r 部分_n 的_u 识别_vn 。_w</s><s>目前_t 深度_n 学习_vn 方法_n 在_p 医学_n 图像_n 领域_n 的_u 上述_b 两_m 方面_n 中_f 被_p 广泛_ad 应用_v ,_w 具体_a 研究_vn 成果_n 见_v 表_n 1_m ,_w 同时_c 深度_n 学习_vn 在_p 图像_n 配_v 准_a 、_w 分割_vn 等_u 图像_n 预_d 处理_v 过程_n 中_f 也_d 得到_v 了_u 广泛_a 应用_vn ,_w 由于_c 篇幅_n 有限_a 对_p 此_r 部分_n 不_d 做_v 综述_vn 。_w</s><s>因此_c 本_r 节_n 主要_d 从_p 疾病_n 检测_vn 与_c 分类_vn 和_c 病变_vn 识别_vn 两_m 个_q 方面_n 来_v 介绍_v 深度_n 学习_vn 在_p 医学_n 图像_n 识别_vn 中_f 的_u 研究_vn 进展_vn 。_w</s>
<s>表_n 1_m 近年_t 来_f 深度_d 学习_v 在_p 疾病_n 检测_vn 与_c 分类_vn 和_c 病变_n 识别_vn 中_f 的_u 应用_vn Tab_nx ._u 1_m In_nx recent_a years_q ,_w the_w application_nx of_c deep_a learning_nx in_c disease_a detection_a and_c classification_n and_c lesion_nx recognition_a</s>
<s>2.1_m 疾病_n 检测_vn 与_c 分类_vn</s>
<s>医学_n 图像_n 中_f 包含_v 着_u 大量_m 的_u 反映_v 人体_n 健康_an 水平_n 的_u 信息_n ,_w 目前_t 这_r 部分_n 数据_n 主要_d 依靠_v 人工_n 进行_v 分析_vn ,_w 易_ad 受_v 主观_a 因素_n 的_u 干扰_vn 且_c 效率_n 不_d 高_a ,_w 容易_ad 造成_v 数据_n 资源_n 的_u 浪费_vn 。_w</s><s>深度_n 学习_vn 通过_p 多_a 层_q 非线性_b 变化_vn ,_w 从_p 海量_n 数据_n 中_f 自动_d 提取_v 抽象_a 特征_n ,_w 既_c 消除_v 了_u 主观_n 因素_n 的_u 影响_vn 又_c 能_v 提取_v 到_v 更加_d 高级_a 的_u 抽象_a 特征_n 。_w</s>
<s>深度_d 学习_vn 在_p 阿尔茨海默病_n (_w alzheimer_nx disease_nx ,_w AD_nx )_w 和_c 轻度_d 认知_vn 障碍_n (_w mild_nx cognitive_nx impairment_nx ,_w MCI_nx )_w 中_f 有_v 大量_m 的_u 研究_vn 。_w</s><s>Sarraf_nx 等_u 使用_v CNN_nx 分类_v 患有_v AD_nx 病_n 的_u 大脑_n 和_c 正常_a 大脑_n ,_w 该_r 模型_n 对_p 患有_v AD_nx 病_n 的_u 大脑_n 和_c 正常_a 大脑_n 的_u 分类_vn 准确率_n 高达_v 96.85%_m [_w 53_m ]_w ,_w 该_r 模型_n 还_d 能够_v 扩展_v 到_v 更加_d 复杂_a 的_u 分类_vn 任务_n ;_w Li_nx 等_u 将_p RBM_nx 作为_v 基本_a 单元_n 构建_v 深度_n 学习_vn 模型_n ,_w 并_c 用于_v 从_p MRI_nx 和_c PET_nx 扫描_vn 图像_n 中_f 分类_v AD_nx /_w MCI_nx 患者_n ,_w 该_r 模型_n 分类_vn 准确率_n 平均_ad 提高_v 5.9%_m [_w 54_m ]_w 。_w</s>
<s>在_p 实际_a 的_u 应用_vn 中_f 基于_p 深度_n 学习_vn 的_u 计算机_n 辅助_vn 诊断_vn 将_p 医学_n 图像_n 中_f 与_p 疾病_n 诊断_vn 相关_v 的_u 特征_n 提取_v 出来_v ,_w 结合_v 临床_vn 知识_n 在_p 很_d 大_a 程度_n 上_f 减少_v 医生_n 的_u 工作量_n ,_w 得到_v 十分_m 精确_a 的_u 诊断_vn 或_c 分类_vn 结果_n 。_w</s><s>Enlitic_nx 公司_n 开发_v 出_v 基于_p CNN_nx 的_u 恶性_b 肿瘤_n 检测_vn 系统_n [_w 55_m ]_w ,_w 对_p 放射师_n 检查_v 过_u 的_u 大量_m 医学_n 图像_n 数据_n 进行_v 学习_vn ,_w 自动_d 总结_v 出_v 代表_v 恶性_b 肿瘤_n 形状_n 的_u “_w 特征_n ”_w ,_w 从而_c 识别_v 图像_n 中_f 是否_v 存在_v 恶性_b 肿瘤_n ,_w 该_r 系统_n 识别_v 肝癌_n 的_u 精度_n 是_v 放射师_n 检查_vn 精度_n 的_u 5_m 倍_q 。_w</s><s>Sirinukunwattana_nx 使用_v 空间_n 约束_vn 卷_vn 积_vn 神经_n 网络_n (_w spatially_nx constrained_nx convolutional_a neural_nx network_n ,_w SC_nx -_w CNN_nx )_w 来_v 检测_v 和_c 分类_v 大肠_n 腺_n 癌_n 细胞_n [_w 56_m ]_w ,_w 在_p 分类_vn 问题_n 上_f 使用_v 邻近_vn 集成_vn 预测_vn (_w neighboring_nx ensemble_nx predictor_nx ,_w NEP_nx )_w 方法_n ,_w 该_r 方法_n 相对_v 基于_p 经典_n 特征_n 分类_v 的_u 方法_n 有_v 更_d 好_a 的_u 分类_vn 效果_n ;_w Dou_nx 使用_v 3D_nx CNN_nx 从_p MR_nx 图像_n 中_f 自动_d 检测_v 脑_n 微_Ag 出血_v (_w cerebral_nr microbleeds_nx ,_w CMBs_nx )_w [_w 57_m ]_w ,_w 该_r 方法_n 从_p MRI_nx 图像_n 中_f 提取_v 更_d 具_Vg 代表性_n 的_u 高级_a 特征_n ,_w 相对_v 手工_d 提取_v 特征_n 和_c 2D_nx CNN_nx 提取_v 特征_n ,_w 3D_nx CNN_nx 检测_vn 精度_n 高达_v 93.16%_m 。_w</s>
<s>相对于_v 数字_n 图像_n 和_c 灰度_n 图像_n 来说_u ,_w 医学_n 图像_n 不_d 易_ad 获得_v 且_c 数据_n 量_n 少_a ,_w 这_r 是_v 深度_n 学习_vn 应用_vn 在_p 医学_n 图像_n 领域_n 的_u 一_m 个_q 共性_n 问题_n 。_w</s><s>数据_n 的_u 缺少_vn 易_ad 造成_v 过_d 拟_vn 合_vn 问题_n ,_w 进而_c 导致_v 检测_vn 和_c 分类_vn 结果_n 不_d 理想_a ,_w 当前_t 有_v 不少_m 研究者_n 在_p 这_r 方面_n 做_v 了_u 很多_m 方面_n 的_u 探索_vn :_w 如_v Shin_nx 将_p 深度_n 学习_vn 应用_v 于_p CT_nx 图像_n 中_f 腹部_n 淋巴结_n (_w 三维_m 图像_n )_w 的_u 检测_vn 和_c 间质性_n 肺病_n 的_u 分类_vn (_w 二_m 维_q 图像_n )_w [_w 58_m ]_w ,_w 他_r 通过_p transfer_nx learning_nx 方法_n [_w 59_m ]_w 增加_v 数据_n 量_n ,_w 这_r 项_q 研究_vn 表明_v ,_w transfer_nx learning_nx 能_v 减少_v 因_p 数据_n 的_u 缺乏_vn 而_c 带来_v 的_u 影响_vn ,_w 有助于_v 提高_v 分类_v 的_u 准确率_n ;_w Roth_nx 针对_p CNN_nx 训练_vn 过程_n 中_f 数据_n 不足_a ,_w 通过_p data_nx augmentation_nx 方法_n [_w 60_m ]_w 扩充_v 训练_vn 样本_n 和_c 测试_vn 样本_n 的_u 数据_n 量_n ,_w 该_r 模型_n 对_p 硬化_vn 转移_vn 检测_vn 的_u 准确率_n 提高_v 了_u 13%_m ,_w 淋巴结_n 检测_vn 的_u 准确率_n 提高_v 了_u 27%_m ,_w 结肠_n 息肉_n 检测_v 的_u 准确率_n 提高_v 了_u 17%_m [_w 61_m ]_w ;_w 数据_n 的_u 缺少_vn 不仅_c 容易_ad 出现_v 过_u 拟_vn 合_vn 问题_n ,_w 而且_c 容易_ad 导致_v 模型_n 在_p 测试_vn 数据_n 上_f 的_u 泛_vn 化_vn 能力_n 难以_d 得到_v 保证_vn 。_w</s><s>Srivastava_nx 等_u 提出_v dropout_nx 技术_n [_w 62_m ]_w ,_w 通过_p 在_p 训练_vn 过程_n 中_f 随机_d 剔除_v 神经元_n 来_v 避免_v 出现_v 过_d 拟_vn 合_n 问题_n 从而_c 提高_v 模型_n 的_u 泛_vn 化_vn 能力_n ;_w Wan_nx 在_p dropout_nx 思想_n 的_u 基础_n 上_f 提出_v dropconnect_nx 方法_n [_w 63_m ]_w 。_w</s><s>Setio_nx 使用_v 包含_v 多_a 个_q 2D_nx 卷_vn 积_vn 神经_n 网络_n 的_u 多_a 视图_n 卷积_vn 网络_n (_w multi_nx -_w view_nx convolutional_nx networks_nx ,_w MVCN_nx )_w 检测_v 肺结节_n 疾病_n [_w 64_m ]_w ,_w 采用_v data_nx augmentation_nx 和_c dropout_nx 方法_n 避免_v 出现_v 过_u 拟_vn 合_vn 问题_n ,_w 准确率_n 高达_v 90.1%_m 。_w</s><s>Li_nx 等_u 使用_v CNN_nx 模型_n 来_v 分类_v 间_v 质_n 性_n 肺病_n [_w 65_m ]_w ,_w 该_r 模型_n 采用_v dropout_nx 方法_n 和_c 单_b 卷_n 积_vn 层_n 结构_n 来_v 避免_v 出现_v 过_d 拟_v 合_v 问题_n 。_w</s>
<s>2_m ._w 2_m 病变_vn 识别_vn</s>
<s>病变_vn 识别_vn 是_v 深度_n 学习_vn 方法_n 在_p 医学_n 图像_n 中_f 的_u 重要_a 应用_vn 之一_r ,_w 传统_n 的_u 病变_vn 识别_vn 如_v 小_a 波_n 变换_vn 方法_n 等_u 对_p 病变_vn 识别_vn 的_u 准确率_n 不_d 高_a ,_w 将_p 深度_n 学习_vn 应用_v 于_p 病变_vn 识别_vn 具有_v 独特_a 的_u 优点_n :_w 深度_n 学习_vn 模型_n 能够_v 更_d 快_a 地_u 处理_v 数据_n ,_w 通过_p 深度_n 学习_vn 模型_n 预测_v 异常_a 病变_vn 可以_v 降低_v 病变_v 的_u 机率_n ,_w 同时_c 可_v 提高_v 医生_n 诊断_v 的_u 准确率_n 和_c 效率_n 。_w</s>
<s>相比_v 普通_a 的_u 图像_n 识别_vn ,_w 医学_n 图像_n 识别_vn 问题_n 更加_d 复杂_a ,_w 对_p 某些_r 复杂_a 的_u 医学_n 图像_n 识别_vn 问题_n ,_w 可以_v 通过_p 构造_v 更加_d 深层_b 、_w 更加_d 复杂_a 的_u 深度_n 学习_vn 模型_n 来_v 解决_v 。_w</s><s>Chakdar_nx 使用_v DBN_nx 进行_v 基于_p 子宫_n 抹片_n 识别_vn 低_a 级别_n 麟_nr 状_Ng 上皮_n 内_f 的_u 病变_vn (_w low_a grade_nx squamous_nx intraepithelial_nx lesion_nx ,_w LGSIL_nx )_w ,_w 该_r 方法_n 将_p DBN_nx 提取_v 出来_v 的_u 特征_n 和_c 原始_a 特征_n 共同_d 作用_v 于_p SVM_nx 模型_n 使得_v 分类_vn 准确率_n 达到_v 100%_m [_w 66_m ]_w ;_w Kondo_nx 利用_v 主_a 成分_n 回归_vn 分析_vn 算法_n 结合_v 深层_b GMDH_nx 型_k 神经_n 网络_n 来_v 识别_v 医学_n 图像_n 中_f 的_u 左右_m 肾_n 区_n 的_u 病变_vn [_w 67_m ]_w ,_w 该_r 模型_n 通过_p 自动_d 适应_v 网络_n 中_f 的_u 结构_n 参数_n 来_v 提高_v 识别_v 的_u 准确率_n ;_w Gao_nx 使用_v CNN_nx 和_c SVM_nx 构建_v 一_m 个_q 自动_d 学习_v 特征_n 的_u 系统_n ,_w 并_c 用于_v 识别_v 图像_n 中_f 核_n 性_n 白内障_n 的_u 病变_vn ,_w 该_r 模型_n 的_u 准确率_n 提高_v 了_u 5.6%_m [_w 68_m ]_w ;_w Yan_nx 等_u 设计_v 了_u 一_m 个_q 多_a 阶段_n 深度_n 学习_vn 框架_n 并_c 用于_v 身体_n 部位_n 病变_vn 识别_vn ,_w 在_p 训练_vn 阶段_n ,_w 通过_p CNN_nx 来_v 提取_v 最_d 具_Vg 差异性_n 的_u 特征_n 和_c 从_p 训练_vn 切片_vn 中_f 提取_v 局部_n 信息_n ;_w 在_p 增强_vn 阶段_n ,_w 经过_p 预_d 训练_v 的_u CNN_nx 进一步_d 增强_v 图像_n 的_u 局部_n 信息_n ,_w 相对_d 基于_p 全局_n 图像_n 上下文_j 的_u 方法_n ,_w 局部_n 方法_n 鲁棒_a 性_n 更_d 好_a ,_w 准确率_n 高_a 达_v 92.23%_m [_w 69_m ]_w 。_w</s>
<s>目前_t 也_d 有_v 不少_m 研究_vn 者_k 根据_p 某些_r 病理_n 特征_n 来_v 进行_v 病变_vn 识别_vn 。_w</s><s>Plis_nx [_w 70_m ]_w 根据_p 头颅_n CT_nx 或_c MRI_nx 图像_n 中_f 的_u 尾_n 状_Ng 核_n 萎缩_vn 程度_n 与_p 疾病_n 的_u 严重_a 程度_n 有关_v ,_w 将_p DBN_nx 应用_v 于_p 大脑_n 结构_n 和_c 功能_n 磁共振_n 成像_n 来_v 识别_v Huntington_nx 病变_vn ,_w 实验_vn 结果_n 表明_v ,_w 深度_n 学习_vn 方法_n 能够_v 学习_v 重要_a 的_u 生理_n 特征_n 从而_c 提高_v Huntington_nx 病变_vn 的_u 识别_vn ;_w Brosch_nx 使用_v 三_m 个_q DBN_nx 对_p 大脑_n 形态_n 变化_vn 建立_v 模型_n ,_w 该_r 模型_n 能够_v 自动_d 捕捉_v 到_v 脑_n 形态_n 和_c 脑_n 白质_n 的_u 病变_vn 情况_n ,_w 从而_c 对_p 脑白质_n 进行_v 病变_vn 识别_vn [_w 71_m ]_w ;_w Xu_nx 使用_v 堆栈_n 稀疏_a 自动_b 编码_n 器_n (_w stacked_nx sparse_nx autoencoder_nx ,_w SAE_nx )_w 来_v 识别_v 乳腺癌_n 组织_n 病理学_n 图像_n 上_f 的_u 细胞核_n ,_w 通过_p 去_v 噪_Ng 自动_b 编码_n 器_n (_w denoising_nx autoencoder_nx ,_w DA_nx )_w 来_v 提高_v 噪声_n 的_u 鲁棒_n 性_n ,_w 准确率_n 高达_v 88.84%_m [_w 72_m ]_w 。_w</s>
<s>此外_c ,_w 有_v 研究者_n 通过_p 借助_v 医学_n 图像_n 中_f 的_u 识别_v 对象_n 物_n 的_u 技术_n 来_v 进行_v 病变_vn 识别_vn ,_w 如_v Kooi_nx 将_p CNN_nx 用于_v 乳腺_n 恶性_b 病变_vn 识别_vn ,_w 该_r 方法_n 在_p 低_a 灵敏度_n 下_f 识别_vn 结果_n 比_p 传统_n 的_u 计算机_n 辅助_vn 方法_n 更_d 优_Ag ,_w 在_p 高_a 灵敏度_n 下_f 准确率_n 更_d 高_a [_w 73_m ]_w ;_w Cruz_nx -_w Roa_nx 将_p 自_d 编码_v 神经_n 网络_n 用于_v 识别_v 图像_n 中_f 的_u 肿瘤_n 细胞_n ,_w 该_r 模型_n 增加_v 两_m 个_q 有助于_v 区分_v 癌_n 组织_n 和_c 正常_a 组织_n 的_u 可_v 判断层_n ,_w 相比_v 传统_n 方法_n ,_w 该_r 方法_n 的_u 准确率_n 提高_v 了_u 7%_m [_w 74_m ]_w 。_w</s>
<s>深度_n 学习_vn 应用_vn 在_p 医学_n 图像_n 领域_n 中_f 训练_vn 时间_n 普遍_ad 过_d 长_a ,_w 对_p 硬件_n 要求_n 高_a ,_w 模型_n 可_c 移植_v 性_k 差_a ,_w 这_r 是_v 深度_n 学习_vn 应用_vn 在_p 医学_n 图像_n 领域_n 的_u 另_r 一_m 个_q 共性_n 问题_n 。_w</s><s>有_v 研究者_n 通过_p 改进_v 基本_a 的_u 深度_n 学习_vn 模型_n ,_w 可以_v 减少_v 训练_vn 时间_n ,_w van_nx 针对_p 训练_vn 过程_n 中_f 时间_n 过_d 长_a 提出_v 一_m 种_q 改进_v 的_u CNN_nx ,_w 用于_v 检测_v 彩色_b 眼底_n 图像_n 出血_vn 病变_vn ,_w 在_p 每_r 个_q 训练_vn 过程_n 中_f 从_p 训练_vn 数据_n 里_f 随机_d 选择_v 样本_n 进行_v 训练_vn ,_w 迭_vn 代_vn 次数_n 从_p 170_m 次_q 减少_v 到_v 60_m 次_q ,_w 从而_c 大大_d 减少_v 训练_vn 时间_n [_w 75_m ]_w 。_w</s>
<s>3_m 结论_n</s>
<s>机器_n 学习_vn 方法_n 广泛_a 地_u 应用_v 于_p 医学_n 图像_n 识别_vn 中_f ,_w 通过_p 在_p 给定_v 的_u 数据集_n 上_f 的_u 训练_vn 模型_n 来_v 完成_v 新_a 数据_n 上_f 的_u 特定_b 任务_n 。_w</s><s>然而_c ,_w 一_m 方面_c 传统_n 的_u 机器_n 学习_vn 算法_n 常常_d 需要_v 利用_v 先验_a 知识_n 从_p 原始_a 数据_n 中_f 人工_d 提取_v 特征_n 来_v 训练_v 模型_n ,_w 此_r 方法_n 难以_d 提取_v 到_v 复杂_a 特征_n ,_w 而且_c 由于_c 特征_n 选取_vn 难度_n 大_a ,_w 可能_v 出现_v 过_d 拟_vn 合_vn 问题_n ,_w 模型_n 的_u 泛_vn 化_vn 能力_n 难以_d 得到_v 保证_vn ;_w 另_r 一_m 方面_c ,_w 随着_p 医学_n 图像_n 产出_vn 量_n 的_u 增大_vn ,_w 传统_n 方法_n 难以_d 适应_v 大_a 规模_n 的_u 数据_n 集_Vg ,_w 模型_n 可_v 移植_vn 能力_n 差_a 。_w</s><s>深度_n 学习_vn 作为_v 机器_n 学习_vn 的_u 新兴_b 领域_n ,_w 在_p 图像_n 处理_vn 和_c 计算机_n 视觉_n 方面_n 的_u 成功_an 为_p 医学_n 图像_n 的_u 识别_vn 提供_v 了_u 新_a 的_u 思路_n 。_w</s><s>尽管_c 当前_t 深度_n 学习_vn 在_p 医学_n 图像_n 识别_vn 中_f 已_d 取得_v 一定_b 经验性_n 的_u 研究_vn 成果_n ,_w 但_c 就_p 总体_n 而_c 言_u ,_w 深度_n 学习_vn 在_p 医学_n 图像_n 识别_vn 中_f 的_u 应用_vn 还_d 处于_v 起步_vn 阶段_n ,_w 未来_t 还_d 有_v 许多_m 的_u 问题_n 需要_v 深入_ad 研究_v :_w</s>
<s>1_m )_w 在_p 计算机_n 视觉_n 领域_n 通过_p 利用_v 大量_m 训练_vn 数据_n 取得_v 了_u 突破性_n 研究_vn 进展_vn ,_w 如_v 2015_m 年_q 何凯明_nr 设计_v 一_m 个_q 具有_v 152_m 层_q 的_u Res_nx Net_nx 模型_n 将_p 错误_n 率_n 刷新_v 到_v 3.6%_m ,_w 该_r 模型_n 在_p Image_nx Net2_nx 012_m 分类_vn 数据集_n 上_f 训练_v 了_u 128万_m 张_q 图像_n [_w 18_m -_w 19_m ]_w 。_w</s><s>但_c 在_p 医学_n 图像_n 中_f 由于_c 数据_n 的_u 采集_vn 和_c 疾病_n 罕见_an 等_u 原因_n 使得_v 大_a 规模_n 医学_n 图像_n 数据_n 的_u 获取_vn 异常_d 困难_a ,_w 可以_v 借助_v 图像_n 处理_vn 中_f 的_u 迁移_vn 学习_vn (_w transfer_nx learning_nx )_w 和_c 微调_n (_w fine_nx tuning_nx )_w 来_v 有效_ad 解决_v 这_r 方面_n 的_u 问题_n ,_w 但_c 最_d 好_a 的_u 解决_vn 方法_n 还是_d 应该_v 建立_v 更_d 多_a 公共_b 可_a 用_a 的_u 医学_n 图像_n 数据_n 集_Ng ,_w 通过_p 在_p 公共_b 数据_n 集_Ng 上_f 提取_v 更为_d 抽象_a 的_u 特征_n ,_w 从而_c 实现_v 在_p 医学_n 图像_n 识别_vn 上_f 取得_v 突破性_n 的_u 研究_vn 进展_vn 。_w</s><s>[_w 80_m -_w 81_m ]_w</s>
<s>2_m )_w 深度_n 学习_vn 本质_n 上_f 是_v 模拟_vn 人脑_n 进行_v 自动_b 学习_vn ,_w 从_p 这_r 一_m 角度_n 来_v 看_v ,_w 深度_n 学习_vn 是_v 一_m 种_q 数据_n 驱动_vn 型_n 模型_n ,_w 但_c 当前_t 深度_n 学习_vn 对_p 无_v 监督_vn 数据_n 的_u 学习_vn 能力_n 严重_ad 不足_a ,_w 目前_t 无_v 监督_vn 学习_vn 算法_n 主要_d 面临_v 两_m 个_q 方面_n 的_u 困难_an :_w 一_m 方面_c 是_v 高维_n 数据_n 通常_d 具有_v 数据_n 维度_n 高_a 、_w 数据量_n 大_a 等_u 特性_n ,_w 在_p 高维_n 空间_n 中_f 进行_v 相似_a 度量_n 会_v 遇到_v 低维_n 空间_n 中_f 不_d 曾_d 遇到_v 的_u 问题_n ,_w 而_c 相似性_n 度量_n 是_v 无_v 监督_vn 学习_vn 方法_n 的_u 一_m 个_q 重要_a 指标_n ;_w 另_r 一_m 方面_n 是_v 数据_n 噪声_n 和_c 不_d 完全_a 数据_n 会_v 影响_v 分析_vn 过程_n ,_w 使得_v 通过_p 无_v 监督_vn 学习_vn 方法_n 所_u 发现_v 的_u 模式_n 准确性_n 差_a 。_w</s><s>在_p 未来_t 可以_v 致力于_v 探索_v 新_a 的_u 无_v 监督_vn 学习_vn 算法_n ,_w 诸如_v 为了_p 提高_v 可_n 操作性_n ,_w 无_v 监督_vn 学习_vn 算法_n 应该_v 具有_v 交互_b 能力_n ,_w 可_v 交互_b 的_u 无_v 监督_vn 学习_vn 算法_n 的_u 研究_vn 是_v 一_m 个_q 重要_a 的_u 方向_n ;_w 为了_p 更_d 好_a 地_u 研究_v 疾病_n ,_w 基于_p 医学_n 图像_n 独特_a 的_u 复杂性_n 、_w 丰富性_n 、_w 重要性_n ,_w 需要_v 针对_p 这_r 方面_n 的_u 无_v 监督_vn 学习_vn 方法_n 进行_v 深入_a 研究_vn ,_w 如_v 针对_p 癌_n 细胞_n 、_w 大脑_n 疾病_n 的_u 无_v 监督_vn 学习_vn 。_w</s>
<s>另外_c ,_w 不同_a 医院_n 采集_v 数据_n 的_u 设备_n 之间_f 的_u 异同_n 使得_v 采集_v 到_v 的_u 图像_n 质量_n 有所_v 差异_n ,_w 采集_v 到_v 的_u 不同_a 图像_n 会_v 影响_v 特征_n 的_u 提取_vn 并_c 对_p 最终_b 的_u 结果_n 起_v 着_u 决定性_n 作用_n ,_w 为此_d 开发_v 出_v 一_m 种_q 新颖_a 的_u 算法_n ,_w 有效_ad 克服_v 不同_a 设备_n 获取_v 的_u 图像_n 差异_n 带来_v 的_u 影响_vn ,_w 这_r 也_d 是_v 未来_t 的_u 一_m 个_q 重要_a 的_u 研究_vn 方向_n 。_w</s>
