基于深度网络uNet的脊椎骨骼分割研究
（一）国内外研究现状
医学图像的自动分割一直以来都是一项具有挑战性的任务，传统的医学图像分割方法和基于传统机器学习的分割算法由于其自身的不足使得其在分割精度和效率上均不能满足如今临床应用的需求。而深度学习能够通过数据驱动的方式从原始图像数据中学习最具代表性的特征，并得到显著优于其他方法的分割结果。此外，山丁近几年 Tensor Flow, Pytorch, Caffe 等深度学习开源框架的出现，使得研宄人员能够高效地搭建并训练深度神经网络，相比传统分制算法大大缩减了工作量。
1.1深度学习研究现状人工神经网络 (Artificial Neural Network, ANN〉受生物神经系统结构利工作原理的启发而产生，中相互连接的神经元组成，网络中的每个神经元将输入数据按不同的权重水和，并将激活两数应用于求和后的数据使得网络具有非线性拟合能力。感知机是最简单也是最早被提出的神经网络之一，，只包含输入层与输出层擅长解決线性可分的问题，但对线性不可分的问题（如异或问题）束手无策。为了处理更复杂的线性不可分问题，研究者们引入了包含多个隐藏层，具有更为复杂的分层体系结构的神经网络，每-一层神经元将其输出传递给下一层，每个后续层使用上一层的输出作为输入。通过这些层，网络可以从大量数据中提取复杂的层次特征。因此，增加更多的隐藏层可以使网络处理更复杂的问题，这类具有多层结构的神经网络称为深度神经网络 ( Deep Neural Network, DNN)。
1.2医学图像分割研究现状在医学图像分割领域，早期的基于深度学习的图像分割是采用图像块的分割方式。2012年，Ciresan 等人1391 利用消动窗口的方式对电子显微镜图像中的神经洁细胞膜进行分割。2015年，FCNLISJ 的问世使得医学阁像分割领域的研究者们将日光转问了全卷积神经网络，在此之后提出的基于深度学习的图像分割网络大多都届于全卷积神经网络。同年，UNet 2iJ 在 FCN 的基础上更充分地利用了上采样和跳跃连接，引入了与下采样层数相同的上采样层，上采样层由较置卷积实现，并且对应的上采样和下采样层之间通过跳跃结构相连。随后UNet 及其变体140 43J被广泛用于该领域的图像分割任务。2018年，Qin 等人144] 提出了自聚焦卷积层通过多尺度处理并使用注意力机制选择最优的尺度以提高神经网络的性能。自动聚焦层可以很容易地嵌入到现有的其他网络中以提高性能。该方法在骨盆CT中的多器官分割和 MRI 中的脑胂瘤分割等具有挑战性的任务巾取得了较好的性能Mlvnarski 等人1491提出了一种基于 CNN 的脑胂瘤分割模型，该模型首先从横断面、冠状面和矢状面切片中提取图像的二维特征，然后将其作为三维 CNN 模型的输入，该方法可以学习丰富的三维特征信息并取得了较好的效果医学图像分制通常涉及到三维图像，山于计算力的限制，早期的模型通过将3D 图像切片，然后用2D 卷积神经网络进行逐切片的处理，虽然有效地降低了计算量，但忽略了图像在某个轴上的空间信息。随后，一此研宄老们将2D分割模型逐渐扩展到了 3D。2016年，Kotez 等人146等人将3D 卷积神经凶络用丁 MR 图像中脊椎椎体的分制。同年，Milletari 等人1471 基丁UNet 的结构提出了3D分割浏络VNet， 对丁模型训练，他们基丁 Dice 系数设计了 Dice 损失函数，使模型能够处玾前景和背景像素数量严重不火衡的情况。在庆学图像分制领域，VNet是3D图像分割中应用最广泛的测络之bull;2018年， Gibson 等人1481 就基于VNet 做了进步改进，赋了阙络更大的感受野和多尺度特征提取能力，相较于原始 VNet， 分割Dice 提高了 12%。Moeskops 等人(491 通过同一个网络实现了脑MRI 的分割、朒部MRI 中的胸肌和心脏CT 血管成像（CTA)中的冠状动脉的分割。Christ 等人1so1 通过级联两个全卷积神经测络显著提高了肝脏病变区域的分割性能。第一个仝卷积神经网络分割出肝脏部分作为第二个网络的 ROI(Region ot Interest)，而第二个网络在前一个网络的基础上进一步分割出病变区域。该方法对 CT 图像的病变分割的Dice 系数达到了 0.823，对磁尖振图像的分割达到了 0.85。除了卷积神经网络，近年水循环神经网络(Recurrent Neural Netwwork, RNN) 也备受研宄人员的关注。RNN 循环连按的机制意味着网络会记忆之前输入的信息并应用于当前输出的计算。医学图像中的ROI通常分布在多个相邻的切片上，这导致连续的切片之间具有一定的相关性。因此，RNN 能够从顺序输入的切片中提取切片间的上下文。2016年，Andermatt 等人1S11 通过带有门控循环单元的 3D RNN分割脑部 MRI 数据集中的灰质和白质。Chen 等人12 通过将双问LSM与” ”型结惚网络相结合，实现了从各问异性的3D 电子泉微镜图像中分割相关结构。而Poudel 等人13J 将2DU-Net 结构与门控循环单元相结合用于 3D 分割。除此之外，一些其他的策略和手段也被提出用于提升图像分割的性能。受生成对抗网络 (Generative Adversarial Network, GAN)154] 中生成模型和州别模型相互博弈的启发，一些方法155.5 提出使用州别模型作为额外约束以提高分割性能。文献15]以多模念图像作为多通道输入，训练了一个”U”型残差生成网络和一个州别网络，生成网络生成图像的分割掩膜，而判别网络在生成的分割和分割标签之间进行区分，该方法在 BRATS 2018 数据集上进行了评佔，取得了很有竞争力的结果。文献151 采用 PatchGAN 1S71 判别器以监督网络的训练过程，基于生成对抗训练的分割方法由于受到判别器的约束，可以获得较好的分割效果，但训练判别模型需要额外的显存。此外，由于卷积神经网络中的池化层会带来一定的平移不变性，导致分割边外可能会出现一定偏差。为了解决这一问题，一此文献将马尔可大随机场 MRF(Markov Random Ficld) 158.591 和条件随机场 CRF(Conditional RandomFicld)1s0.611 用作后处玾以进一步优化神经测络的分割结果。
1.2 椎骨实例分割研究现状早期的椎骨实例分割方法大多以活动轮廓162-61 以及基子阁论166的方法为主。这类方法依赖于先验知识，在健康脊柱上花现良好，Dice 系数较高。然而，椎肯骨折、脊柱崎形等异常椎骨与健康的椎骨在形状和结构上的差异很大，使得其屮大部分传统的图像分割算法兀法对异常椎骨进行准确的实例分割。随后，机器学习的相关技术被广泛应用于椎骨实例分割。2015年，chu 等人1671通过随机森林回归椎骨中心，然后根据椎骨中心截取ROI 并分割其中的椎骨。类似地，Suzani 等人11通过多层感知机回归阁像块与其距离最近的椎骨的几何中心距离偏移量来定位椎骨，然后通过活动轮廓模型分割出椎骨。2019年Wang 等人1o91 利用自编码机提取图像块特征，然后通过结构化随机森林实现椎骨的定位与识别。近几年来，随着计算机高性能计算的发展和深度学习的兴起，基于深度学习的椎骨分割方法得到了极大的发展。Korez 等人14通过卷积神经网络生成惟骨的分割概率热图，然后用概率热图初始化可变表面模型实现椎骨的分割。2017年， Sekuboyina [701 等人通过手工设计的特征训练多层感知机以回归腰椎区域的边界框，然后在矢状面上将3DCT 图像切片并利用 2D UNet 多类别分割网络将L1-LS分割出来。类似地，Janssens 等人11 通过两个级联的 3D网络实现子对腰椎部分的分割，该方法首先利用一个 3D卷积神绎网络预测腰椎区域的边界枢，然后通过另一个3D多分割网络分割出5块腰椎。Liao 等人121通过引入RNN 融合 3D图像中的远程上下文信息，从而改进了通用的3D FCN 框架实现椎骨的定位与识别。2019年，Furqan 等人的2 利用基于图像块的深度信念网络实现 CT脊椎的分割。Lessmann 等人174] 提出了一种迭代实例分割方法，利用全卷积神经网络和实例记忆模块对椎骨进行逐一的分割和标记。
（二）研究主要成果
深度学习算法，特别是深度卷积神经州络，已经迅速成为医宁图像分制领域中占主导地位的分割技术。
早在1995 年，人工神经网络就被用于肺结节的检测口。到了1998年，LeCun等人13 提出的卷积神经网络 LeNet 被成功地应用于手写体识别任务中。然而尽管深度学习在当时获得了不小的成就，但局限于当时的计算机硬件和数据量的不足，深度学习并没有引来发展的高潮。得益于近二十年来计算机高性能计算的发展以及大量数据的亡生，直到 2012年， AlexNet ia1 在ImageNet 大赛上的夺冠，将top5错误率从 26%下降到了 15.3%，使得深度学习终于迎来了发展高潮。短短几年中，深度学习相关技术得到了巨大的发展。2013 年 VGGi 通过增加网络深度获得了相比 AlexNet 更好的性能。而Inception 16-9] 则另辟蹊径，通过改进卷积模块的结构，分解卷积计算，以更少的参数量获得了更高的性能。与Inception 类似，ImageNet2015 的冠车模型 ResNet 110 通过引入简单的残差结构改进了卷积模块的结构，解决了网络过深导致难以训练和性能退化的问题。而同样是 ImageNet 大赛冠军模型的 SENet川]通过引入通道问的注意力机制使网络自动学习不同特征的重要性。网络模块的改进不但能提高网络性能，亦能减少参数和计算量。为了使深度学习能够部署到预算成本较低的移动端，大量的轻量级模型被提出。 SqueezeNet 121 通过设计的 FircModule 大大减少了网络可学习的参数量，SqueczeNet 在保持与 AlexNet相同正确率的前提下，参数量却减少到了 AlexNet 的1/50。类似地，MobileNct 113-15通过将普通卷积分解成逐通道卷积和1times;1 卷积以减小网络的参数量和计算量。而ShuffleNet r15.171 则将1times;1 卷积通过分组卷积的方式进一步降低了参数量和计算量bull;与此同时，大批的图像分制网络随之产牛。FCN(Fully Convolution Network) rls通过将 vGG 企连接层替换成卷积层而使得网络可以接受任意尺寸的输入，相较丁基丁图像块的分割方式，FCN 大大增加了例络的感妥野齐避免了重复的计算，最后迊过上采样和跳跃连接输出分制预测图，FCN 在PASCAL VOC 上提升了 20%灼性能。而DcepLab I12-221 则通过 ASPP(AtrouS Spatial Pyramid Pooling) 模块增大感受野并贼j模型对不同尺度目标的分制能力，并将全连接条件随机场(DenSCCRF用丁分割后处理。类似地，PSPNet 1231 通过引入金字塔池化模块(Pyramid PoolingModule〉使网络能够感知全局场景的上下文，降低了模型产生语义困惑的可能。CRFasRNN 124] 将 DenseCRF 卷积化并嵌入分割网络实现了分割和后处理的联合优化。而 UNet Rs1 因其简单优雅的”U”型结构及优异的性能在医宁图像分割领域大放光彩。除了图像分类和分割，计算机视觉的其他领域如目标检测的网络模型也如同雨后春笋股破士而出。既有 YoLO 126-281 , SSD 19.30), RetinaNet Bl, CornerNet 121, ExtremeNet BS3J, CenterNet l31 等one stage 的检测算法，也有twro stage 的R-CNN 系列B3-38 检测框架。随着深度学习的不断发展，网络模型的多样性和性能也不断增加和提高。
（三）发展趋势
