深度学习在前列腺MRI中的应用
作者:杨博文,陈敏,北京医院放射科/国家老年医学中心/中国医学科学院老年医学研究院
1.前列腺MRI概述
前列腺癌(prostate carcinoma, PCa)是男性最常见的恶性肿瘤之一,其全球发病率位于男性恶性肿瘤的第二位,仅次于肺癌
,在欧美发达国家,其发病率已跃居男性恶性肿瘤第一位。在中国,PCa发病率虽位居男性恶性肿瘤第六位,但随着人口老龄化不断加剧,其发病率正逐年上升。
目前在PCa管理中缺乏一种能精准鉴别侵袭性与非侵袭性癌的非侵入性工具,可能导致PCa的过度诊断和过度治疗。为了克服这一局限性,MRI被引入。根据最新版的前列腺影像报告和数据系统2.1版本(prostate imaging-reporting and data system v2.1,PI-RADS v2.1,前列腺MRI的建议采集序列包括T1加权成像(T1 weighted imaging, T1WI)、T2加权成像(T2weighted imaging, T2WI)、弥散加权成像(diffusion weighted imaging, DWI)以及动态对比增强成像(dynamic contrast enhancement, DCE)。T1WI主要用于区域淋巴结和骨质结构的评估。
T2WI序列软组织对比度高,可清楚显示前列腺各区带,对病变信号、形态及前列腺包膜受累的评估较为敏感。DWI序列可量化组织内水分子随机运动度,具有鉴别恶性肿瘤与非恶性肿瘤的潜能,且与Gleason评分相关。
DCE序列可显示前列腺血流动力学情况,通过定性、半定量、定量分析反映PCa的血管通透性及血流灌注情况。但临床中DCE多作为后备序列,特别是当DWI的图像质量因伪影或信噪比不足而下降时。前列腺MRI在PCa主动监测、诊断表征、临床分期及预后评估等多方面表现优异,但其也存在一些局限性,如前列腺MRI扫描时间较长,根据PI-RADS v2.1对扫描范围和图像分辨率的严格要求,全套前列腺MRI扫描时间长约半小时。不同医疗机构的采集方案及序列参数不同会导致前列腺MRI图像质量的异质性,使得图像对比存在困难。
不同年资放射医师对于前列腺MRI解读可能存在不稳定性,影响前列腺MRI的临床适用性。部分良性病变及前列腺癌前病变在MRI上与PCa难以分辨。此外,患者某些自身因素,包括体型、手术史、解剖变异、金属植入物及直肠内气体也影响MRI的成像及读片。而当下深度学习的快速发展及其与医学影像的深度融合为上述问题的解决提供了可能。深度学习依赖于人工神经网络,相对于影像组学,具有更进一步自动优化参数、非监督学习以及客观性更强的优势,因此深度学习被引入前列腺MRI以解决当下的问题。
2.深度学习概述
深度学习的快速发展及其与医学影像的深度融合拓宽了医学影像领域各个研究方向,而前列腺MRI正是应用深度学习的理想成像模式,因为它在PCa检测与诊断中处于关键地位,并且在靶向活检和局部治疗中也扮演着重要角色。在日常工作中,虽然人工智能、机器学习及深度学习可能互换使用,但这三个术语均有其定义。
深度学习属于机器学习的方向之一,是一种模式分析方法的统称。机器学习是人工智能这一大领域的分支之一,是计算机接收数据和标签作为输入,然后创建一个程序来优化输出。随着时间推移,机器学习算法可将其创建的输出与标签相匹配的程序不断改进;而程序的有效性高度依赖于接收的数据质量和数量。
深度学习可进行多层处理,将图像的点、线和边界等低层特征转化为“图像标签”等高层特征。相较于传统的机器学习,深度学习更注重模型的深度及特征的学习。深度学习在图像处理中应用最多的是卷积神经网络,它主要由卷积层、池化层、全连接层和激活函数等组成。
卷积层是卷积神经网络的核心,可以将滤波器应用于输入图像并将其转换成特征图,该特征图进一步被归一化和调整大小。池化层又称为降采样层,负责降维并减少运算量,有效地避免了过拟合。全连接层是神经网络的一般特征,其接收输入向量并在应用变换和激活函数之后创建输出向量。激活函数可以使神经网络非线性化,更好地模拟数据的内在规律。
在医学方面,深度学习可以以疾病的相关数据为依据,建立模型,对发病风险和异常病变进行准确地预测。在医学影像方面,则可以通过对图像的定位、分类以及分割、检测等多种方法的组合应用,辅助分析医学影像数据,实现疾病诊断和评估的自动化和智能化。它的优势在于数据处理速度更快,数据可信,不受主观因素影响,可以在减轻放射医师工作负担的同时,提高放射医师的效率和准确率。
基于MRI的深度学习应用于前列腺疾病筛查、预防、诊断、治疗、康复各个环节的研究近年来已屡见报道,该类研究还涵盖了前列腺MRI图像采集与重建的深度学习,后续治疗所需的体积分割、病变检测及表征、确诊后PCa治疗的预后评估和可疑PCa病灶的靶向穿刺等方面。
3.深度学习在前列腺MRI中的应用
1)深度学习在缩短扫描时间、改善图像质量方面的应用
在前列腺MRI中,符合PI-RADS v2.1参数要求的MRI扫描时间近30 min, 但基于深度学习的快速扫描,可以通过大量已知数据训练人工神经网络,学习欠采样和全采样图像之间的映射关系,从而达到欠采样数据重建出比拟全采样数据的MRI图像。由于基于深度学习的重建技术,相对于传统重建技术所需的数据更少,因而它的扫描数据更快,并且不以牺牲图像质量为代价。因此,基于深度学习的扫描技术目前已经成为MRI快速扫描领域的研究热点。
Gassenmaier等采用展开变分网络进行重建,研究结果显示基于深度学习的快速T2WI序列与标准的T2WI序列相比,可以减少65%的扫描时间,同时还可以改善图像质量和病变检出;这一结果证明了基于深度学习的快速T2WI序列应用于临床的可行性。
Johnson等在前列腺MRI扫描中应用卷积神经网络进行采集和重建,不仅去除了噪音,免除了多次平均的需要,还利用欠采样数据重建,从而获得了更快速的扫描,最终将扫描时间缩减到4 min内,可以实现前列腺MRI快速筛查,对于可能不需要完整诊断方案的患者,可以提供一种更易被接受且更容易获得的前列腺MRI。
Kim等所用的深度学习包含一个展开变分网络,该网络在数据一致性更新和图像正则化之间交替执行多次迭代,将得到的深度学习网络嵌入到磁共振扫描仪进行前瞻性重建。深度学习有助于提高前列腺快速T2WI的图像质量,最终在更短的扫描时间内(扫描时间减少75.5%)获得与传统T2WI相似的图像质量。Park等将美国GE公司研发的深度学习序列(AIR Recon DL)应用于前列腺MRI,该重建过程使用卷积神经网络,聚焦于评价前列腺包膜外侵犯(extraprostatic extension, EPE)的图像质量及诊断效能,比较了常规T2WI、快速T2WI及深度学习T2WI三种成像方案的信噪比、对比信噪比及图像质量,结果显示在不影响图像质量和诊断效能的情况下,深度学习可能有助于减少前列腺MRI的扫描时间。深度学习技术除了应用于T2WI之外,应用于DWI序列也取得了满意的结果。
Ueda等使用了佳能医疗公司提供的Advanced intelligent Clear-IQ Engine深度学习序列,将其应用于激励次数为2的DWI序列,不仅缩短了检查时间,而且在定性分析中,图像质量与激励次数为8的DWI序列差异无统计学意义,其对比信噪比甚至高于激励次数为8的DWI序列;最终得出在使用DWI评估PCa患者淋巴结和骨转移方面,基于深度学习的DWI有可能代替常规DWI的结论。
由此可见,基于深度学习的前列腺的T2WI或DWI至少可满足以下条件:①缩短检查时间;②保证原有图像质量,甚至改善图像质量;③诊断效能不低于常规序列。因此基于深度学习的新序列应用可以提高临床检查效率及放射医师诊断准确性,甚至有改变临床指南的潜力。经由上述研究可发现,目前国际上已有部分商业化深度学习序列初步进入临床实践,并取得了满意的结果。
2)深度学习在前列腺体积分割方面的应用
前列腺体积与前列腺特异性抗原密度相关,而前列腺特异性抗原密度是PCa的指标之一,同时前列腺体积也影响前列腺增生
症患者的手术方式。目前前列腺体积测量方法主要依靠超声或MRI测量前列腺各径线,然后利用公式粗略计算前列腺体积,但测量误差、前列腺形状欠规则以及不同医生的测量稳定性差等因素都会造成较大的误差。因此快速精准的前列腺体积测定在临床前列腺疾病管理中尤为重要。
早在2012年,包含100例患者的PROMISE 12挑战数据集的发布促进了许多该领域的研究。Tian等使用140例患者的T2WI图像训练他们的卷积神经网络,并得到了0.85的Dice评分。Karimi等利用包含49个T2WI图像的有限数据集对其卷积神经网络进行训练,并通过数据增强进行补充,其Dice评分为0.88。
两项研究均获得了较高的Dice评分,Dice评分是用于评估两个图像之间的空间交叉的标准统计量,范围从0(无重叠)到1(完全重叠)。因此,二者的Dice评分表明该技术能够以高精度分割和计算前列腺的体积。Thimansson等利用深度学习算法测量前列腺体积并与放射科医生比较,发现二者表现相似。前列腺分割包括前列腺腺体分区的分割及病灶的分割。
在进行前列腺融合靶向穿刺或局部病灶治疗时,分割这一过程尤为重要,分割也是进一步图像分析的前提。传统的由放射医师逐层勾画前列腺轮廓进行分割,这一过程具有主观性,是不稳定且耗时乏味的,取决于勾画专家的主观感觉及经验;而自动勾画不仅能节省大量时间还提高了可重复性,帮助实现完全自动化的后处理。
目前已经开发出用于前列腺分割的深度卷积神经网络,并且显示出比传统机器学习方法更好的分割准确性。因此深度学习能够学习输入图像的特征,并且可以通过数据增强进行补充,这些方法提供了更多的数据来训练网络。Wang等比较了手动分割与基于深度学习的前列腺分割,证明了3D全卷积神经网络的可行性,并随后在公共数据集上验证了他们的结果。
Alkadi等利用一种基于单峰深度学习的系统,仅使用T2WI图像对前列腺和PCa病变进行自动分割,其算法的受试者工作特征曲线下面积(area under curve, AUC)达到0.995,与病变检测中的其他多模式系统相当,同时优于其他的二维和三维前列腺分割方法。虽然深度学习可用于前列腺分割,但目前用于前列腺分割的商业化软件尚不多见。
深度学习也可以实现前列腺癌体积的精确计算,从而完成PSA密度的准确计算以用于更好的风险分层。此外,前列腺及其分区的自动分割也可以进一步提高前列腺内病变检测和分类算法的性能,进一步促进前列腺MRI数据的自动化处理。
3)深度学习在病变检测、表征方面的应用
PCa的准确分级和分期是达到最佳临床治疗效果所必需的。PCa根据Gleason评分和侵袭性分为临床显著和临床不显著PCa。临床显著PCa通常需要明确的治疗,如手术或放化疗,而临床不显著PCa可以通过积极监测来管理。其中部分研究遵循以下程序进行:首先提取与临床显著PCa存在高度相关的预测性影像组学特征,然后将提取的特征应用于基于机器学习的分类器以区分临床显著与不显著PCa。
Sun等利用基于U-Net的深度学习模型,将DWI单独或与T2WI结合使用,以检测和定位临床有意义PCa;结果显示DWI模型、双参数模型和PI-RADS评估的病变水平敏感度分别为89.0%、85.3%和90.8%(P=0.289~0.754);最终发现DWI模型在检测和定位PSA水平为4~10 ng/mL的患者的临床有意义PCa方面取得了最佳性能。纹理分析具有可重复性的优点,并且能够检测超出人眼视觉限制的图像特征,因此也是一种定量描述肿瘤异质性的工具。而纹理化-深度学习由3D灰度共生矩阵提取器和卷积神经网络组成,用于区分临床显著与临床不显著PCa, 其AUC(0.85)显著高于基于PI-RADS分类的AUC(0.73)。
深度学习除了可以用于病变分类外,对于前列腺病变的表征也进行了诸多研究。为了促进PCa检测算法和Gleason评分算法的迭代发展,美国国家癌症中心、美国际光学工程学会和美国医学物理家协会在2017年举办了一场基于MRI的PCa检测和Gleason评分预测的公开比赛。公开赛提供了一个PROSTATEx挑战数据集,该数据集包含344例患者数据,每例患者均含有前列腺各分区的病变及其Gleason评分。
Wang等通过并行运行两个卷积神经网络实现了0.96的AUC。Seah等通过使用深层卷积神经网络获得0.84的AUC。Mehrtash等通过3D卷积神经网络达到了0.80的AUC。遗憾的是,缺少足够的公开数据集是深度学习应用于医学影像的限制之一,并且当想要开发算法在MRI上勾画临床显著病灶时这种限制更加明显。迁移学习是克服这个问题的一种方法,它可以将从其他大型数据集获得的知识转移到较小的相关数据集。
Chen等对两个ImageNet预训练模型进行了迁移学习,用于特征提取和病变分类,获得的两个预训练模型的AUC分别为0.81和0.83。Jiang等为了减轻放射医师的负担并减少读者之间的变异性,他们提出了一种新的多分支网络MiniSegCaps, 用于MRI上的前列腺癌分割和PI-RADS分类,并建立了一个包含462例患者的前列腺MRI数据库,通过五重交叉验证进行了训练和评估。
在93个测试案例中,其模型在患者水平评估中对病变分割的Dice评分为0.712,在PI-RADS分类(PI-RADS ≥ 4)上实现了89.18% 的准确率和92.52%的敏感度,明显优于现有方法。Bao等开发并测试了一种前列腺成像分层风险(PRISK)工具,用于精确评估PCa的Gleason评分。这项研究包括来自两个中心的1442例前列腺活检患者,将PCa的临床指标和高通量MRI特征进行整合,并使用混合堆叠集成学习算法进行建模。最终PRISK在训练、内部和外部测试数据实现了0.783、0.798和0.762的AUC。
PRISK可能为PCa的非侵入性评估提供了一种可能的替代方案。由此可见,深度学习在前列腺病变检测、表征方面拥有巨大潜能,不仅超越人眼极限挖掘影像特征进行前列腺癌检测,更能自动表征,极大减轻了放射医师的工作量。但也要注意,这些令人满意的结果是有大数量和高质量的前列腺MRI数据进行训练,因此数据的数量及质量也制约着深度学习在前列腺MRI的进一步发展。
4)深度学习在预后评估方面的应用
迄今为止,基于机器学习或深度学习在PCa治疗预后评估方面的研究大多集中在确定EPE的存在以及预估生化复发(Biochemical recurrence, BCR)的风险方面。当PCa患者伴有EPE或神经血管束受侵时,会使得手术切除难度增大,且术后复发的风险更高,有可能需要进行术后放射治疗。因此术前准确预测EPE对于治疗方案的选择具有重要意义。目前评价EPE的方法众多,但缺乏被广泛认同的MRI评价标准。
BCR用于评估根治性前列腺切除术的结果,它是指接受过PCa根治手术的患者在术后PSA连续两次超过0.2 ng/mL,但在影像学上未发现明显的复发或转移灶。它是前列腺根治性治疗后肿瘤复发的早期阶段,预示着肿瘤复发进展的可能。术前BCR预测可以帮助泌尿科医生和患者决定最适合的治疗方案,而术后BCR预测可以实现PCa生化复发监测。深度学习可用于预测前列腺切除术后的复发风险。
Wong等和Cordon-Cardo等搜集了诸如Gleason评分、前列腺特异性抗原、精囊腺受侵和手术切缘等数据预测前列腺切除术后复发的风险。Yan等提出了一种深度生存神经网络,该算法可以从MRI图像中连续性提取定量特征并进行BCR的风险预测。他们的模型在两个独立的队列中进行了验证,并且在主要队列和验证队列中均达到了0.802的C指数,展示了应用深度学习进行BCR风险预测的显著潜力。有研究结果表明发生BCR患者的PCa更为复杂、侵袭性更高、组织分化更差,因此应用深度学习对BCR风险进行预测,能够尽早发现BCR,以决定前列腺癌患者术后的管理决策,极大程度改善了患者预后。
5)深度学习在前列腺靶向穿刺活检方面的应用
虽然PSA、MRI等检测手段在PCa诊断中发挥了重要作用,但毋庸置疑的是前列腺穿刺活检组织病理学检查仍是确诊PCa的金标准。目前除了最常用的超声引导下前列腺穿刺活检,MRI也可应用到前列腺穿刺活检中,如认知融合穿刺活检、MRI引导穿刺活检以及MRI/TRUS融合成像引导穿刺活检,这三种均属于靶向穿刺。认知融合穿刺指医师在穿刺前阅读MRI图像,记住可疑病灶的位置信息,在实际超声引导穿刺过程中,依据先前假定的病灶位置,对相应的位置进行穿刺。
MRI直接引导穿刺活检是在MRI检查室进行,由放射医师将预先扫描的MRI图像与实时扫描的MRI图像相融合,然后对可疑区域进行靶向穿刺。MRI/TRUS融合成像引导穿刺活检是通过专用软件模型来实施。患者活检前行MRI检查以识别可疑的肿瘤,利用特定软件模型将MRI图像和实时TRUS图像叠加到一起,在实时TRUS引导下对可疑病灶进行精确穿刺活检。
虽然靶向穿刺技术能够减少穿刺针数,提高穿刺准确性,提高临床有意义PCa的检出率,但不可否认的是这种方法是耗时耗力的。因此利用深度学习简化该过程,可以减轻临床医生负担。一项研究使用了来自三个不同机构的181例男性的436张超声图像的数据集,然后利用卷积神经网络对超声图像进行自动分割,目的是与MRI图像相匹配;然后基于其中位准确度(98%)、Hausdorff距离(3.0 mm)和Jaccard指数(0.93)对模型进行评价。最终外周带和移行带分割的像素级准确度分别为97%和98%。
深度学习提高了MRI-TRUS融合引导靶向穿刺活检的速度;另一方面,深度学习的应用可能会减少临床不必要的穿刺,最大程度地避免对患者不必要的损伤,减少过度诊断。三种靶向穿刺也各有优劣,认知融合穿刺操作简单快速、成本低,易临床推广,但依赖医师经验,可重复性欠佳;MRI直接引导穿刺活检需要在MRI检查室内进行,费时费力且需特殊穿刺设备,很难被广泛应用。前列腺MRI除了可用于穿刺活检,在局部介入治疗方面也有应用,目前也有少数研究将深度学习应用于前列腺介入治疗,并取得了满意的结果。
4.深度学习在前列腺MRI的挑战和未来
深度学习在医学影像领域的应用仍面临许多挑战。首先是伦理学的要求,任何应用于临床的新技术其安全性和有效性均须充分检验。其次,当前进行深度学习研究所用的数据库大部分为自有数据库或公开数据库,样本量受限,因此未来仍需要大样本、多中心的数据库进行外部验证。同时其临床适用性也需要在不同扫描仪供应商、不同医疗机构之间进行更多次的验证以赢得放射医师的信任。图像伪影的存在、扫描参数的不统一、不规范也制约着深度学习在前列腺MRI的应用。
随着深度学习的发展,其与前列腺MRI深度结合,不仅提高了前列腺MRI检查效率,还可以自动完成前列腺MRI图像解释中的许多任务,改变甚至优化了放射医师的工作流程。大量研究表明,深度学习应用于传统T2WI与DWI序列,缩短扫描时间的同时还改善了图像质量。
除此之外,Mehralivand等提出了一种级联深度学习模型,用于前列腺MRI的病变检测和评分,该模型包含一个可以自动检测和分割前列腺MRI病变的基于3-DUNet的网络以及两个可以进行4级分类以预测PI-RADS分类的3D残差网络。由此可见,未来深度学习可能用于前列腺MRI图像的全流程自动化处理,大大减轻放射医师的工作量,提高MRI图像解释的稳定性,为PCa的诊断、治疗及预后带来巨大帮助。
来源:杨博文,陈敏.深度学习在前列腺MRI中的应用[J].放射学实践,2024,39(05):683-688.