万字长文 | 中科院田捷教授：重新审视医学影像AI，哪些算法和研究最具生命力？

雷锋网消息，近日，第四届图像计算与数字医学国际研讨会（ISICDM 2020），在辽宁省沈阳市的东北大学国际学术交流中心举办。

在开幕式环节中，中科院自动化研究所田捷教授以《医学影像中的人工智能的算法和研究热点》为题做了大会报告。

田捷教授现任中国科学院自动化所研究员、分子影像重点实验室主任、北航-首医大数据精准医疗高精尖创新中心主任。

自2010年起，田捷教授连续获得计算机视觉与医学影像分析领域的9大Fellow，其中包括AAAS 、IEEE 、IAMBE 、SPIE 、AIMBE 、IAPR 、OSA 、ISMRM 、WMIS。同时也是两项国家重点基础研究发展计划（973计划）首席科学家。

他主要从事医学影像分析与生物特征识别的研究和应用的工作，还长期从事光学分子影像研究，在光学分子成像等领域做出了系统性、创新性贡献，特别是生物自发光和激发荧光断层成像及其应用方面。

以下是田捷演讲全文，雷锋网做了不改变原意的编辑：

田捷：今天和大家汇报的题目是《医学影像中的人工智能的算法和研究热点》，分为以下几个方面：包括自己团队对医学影像人工智能的工作进展，以及回归临床的人工智能到底给患者和临床带来什么收益。

人工智能跟我们医学影像密切相关，这是斯坦福大学放射系主任，Sanjiv Sam Gambhir的归纳，从人工智能的早期像符号系统期，就开始用医学影像来做良恶性判断，再到AI 2.0机器学习，判断会更加准确，再到AI的3.0。

随着方法不断更新，人工智能在医学影像中的应用也越来越深入，越来越多临床问题被更好的解决，使得患者能最终获益。

另一方面，医生和机器学习的关系，引用斯坦福大学Sanjiv Sam Gambhir教授在WMIC 2018给出的例子，从医生角度来看，人工智能是计算机做人类认为智能的事，其从大到小包括机器学习、神经网络、深度学习。同时深度学习更适合解决像超声这样人工难以定义特征的影像，下面的表述也是验证他这样的观点。

AI的另一重要概念即大数据，一个病人影像的每个断层是512×512的像素，200个断层即可组成5000多万个体素，形成1000~10万个影像特征，医生看片不可能看到1000~10万个特征。

但计算机可以通过高通量处理对信息进行降维，使得诊断更准确，从而辅助医生进行决策。

下面我将主要分享，以人工智能为核心，在数据、图像、知识这三个环之间的作用。

CT、磁共振把信号变成图像，让人眼来判读，来提取特征，人脑来加工，最终形成诊断知识，这恰好是现在影像组学和人工智能，医学影像的研究热点。我将对这些热点，进行逐个分析。

首先从信号到图像，过去都是医学影像器械厂商完成，例如从K-空间，磁共振图像生成，有一系列物理模型和数学模型，像莱登投影，螺旋采样等这一系列方法。

但现在人工智能也在干这事，使得从复杂频率信号到实域变换，生成人眼能看的磁共振图像，经过训练以后，从图像中获取知识给出判断，但这种重建方法受到了降采样噪声干扰，使得很多图像失真。

而人工智能不需要物理模型和数学公式，可以直接从信号到图像，既克服失真，又可高质量重建。此外AI重建出来的结果，颠覆了过去由物理模型和数学算法降采样得到图像的方式，其信噪比更高，图像质量更好。

这是前年发表在Nature杂志上的文章，以深度学习进行重建，解决了磁共振从信号到图像的问题。得到了更好图像质量效果，对厂商也起到了颠覆和促进作用，该工作是由哈佛大学医学院完成的，第一作者是中国人。

我们团队也开展了类似工作，通过训练样本得到光源位置，不需要经过辐射传播方程来近似求解，以深度学习进行重建，其中没有复杂物理过程和简化数学模型，这个工作我们也发表在了Optica上。该工作以深度学习进行重建，与前面磁共振逻辑思路类似，按照这个思路我们做了一个系列，包括自发荧光，激发荧光，光声成像。

从信号到图像完全可以用深度学习，噪声更低，效果更好，颠覆了复杂物理过程和数学模型，使得重建更加有效。

回归到今天的主要内容：图像到知识。

重点从4个方面进行汇报：基于人工智能的影像组学方法；基于深度学习的影像智能诊断；特异性新型卷积神经网络模型；医疗人工智能的前沿热点方向。

基于人工特征的影像组学分析

影像组学概念综合了医学影像、基因和临床大数据，用人工智能高通量提取疾病相关信息，辅助临床决策，和医生看片是一样的逻辑。

医生看病是从影像提取特征，人眼看结构特征，根据经验进行人脑加工，最后给出决策。计算机通过影像数据，定量提取高通量特征，人工智能建模来辅助决策。

其中最大区别是人眼看的是结构，计算机看到的是高维信息。

高维信息能够提取微观基因蛋白信息在宏观影像上的表达，从而反映人体组织细胞和基因水平变化，使得诊断更准确，治疗更有效，这是影像组学意义所在。

影像组学也可以跟其他组学融合，通过人工智能高通量的提取特征信息，再进行建模，实现精准诊断、预后预测以及治疗方案选择。

围绕着这几个方面举典型案例，说明人工智能到底解决了什么问题，患者的获益在哪里。

人工智能对医学来说到底效果是什么？

对临床来说，影像是无创的，病理是有创的，通过手术和穿刺才能得到。病理是微观，影像是宏观，如果借助人工智能从宏观影像上挖掘出微观信息，把影像逼近病理，使两个技术1+1>2，诊断将更准确。  

另一方面，把宏观影像跟外部预后结合在一起，定量分析影像数据和临床数据，也能够辅助疾病个性化诊疗和精准预测。

其中最重要的就是特征，人眼只能看到形状特征。一些高维特征、标准方差、能量、复杂灰度、共生矩阵特征和熵，人眼都没办法看，也没办法加工，但计算机可以处理这些高维信息。

这是广东省人民医院刘再毅教授发表在Radiology的一篇文章。中间结构图是影像；两个癌症患者年龄差不多，结构特征能看到的信息差不多相同。

放射科大夫写报告都会描述形状不规则，边缘较模糊，长径多少，只能让临床外科和内科大夫去做判断。

但这两个人的预后差别很大，一个5年半没有复发，一个一年半就去世了。

这就是肿瘤异质性，从结构上看不到这两个患者的预后和肿瘤异质性（肿瘤本质的差别）。

我觉得医工交叉要解决问题，研究思路应该是源于临床提出问题，要具体化，越具体越好。特别是现在临床解决不了的某一个点上的某一个具体问题，找适合的人工智能的数据处理方法和分析方法，最后回归临床应用。

下面我会举一些例子，说明了人工智能的效果。不同应用目的的工作为例子，以印证上面研究思路，案例均摘自Ebiomedicine（柳叶刀子刊）。

案例一：新辅助治疗效果评估

这是与南方医院合作的科研案例，针对特定临床问题：局部晚期宫颈癌治疗前难以预测新辅助治疗疗效。采用了275例新辅助化疗前宫颈癌多中心多序列MR影像。

用人工智能多序列、多区域MR影像组学特征分析，实现局部晚期宫颈癌患者的新辅助疗效精准预测。从过去不能从磁共振图看出问题，到借助人工智能加磁共振的分析达到精准预测。

这个成果发表在医学杂志Ebiomedicine上，国际同行法国教授Dimitris Visvikis认为该研究表明在多中心验证影像组学模型是可行的，该工作将促进影像组学的临床应用转化。

案例二：孕妇产后出血预测

这是与河南省人民医院合作的案例：通过分析近300例胎盘增生孕妇产前MR影像、MR影像组学特征，对多中心T2WI序列进行智能分析实现孕妇剖腹产发生出血的精准预测。

案例三：肝硬化门脉高压预测

前面是影像逼近病理，这是对肝静脉压梯度测量的预测，通过回顾性CT图像数据进行学习预测，提取了特征再进行前瞻性AI预测，效果也不错。

案例四：远处转移风险评估

鼻咽癌远处转移风险评估案例中，我们使用176例鼻咽癌患者MR影像进行数据定量分析，实现治疗前对鼻咽癌患者远处转移风险的精准预测。

案例五： 脑膜瘤脑组织侵袭风险评估

第五个案例是脑膜瘤脑组织侵袭风险的预测。脑膜瘤患者会有术前评估不准确性，我们取1728例术前脑膜瘤患者多序列MR影像，分析定量影像组学特征与脑组织侵袭潜在关联，实现了脑膜瘤患者脑组织侵袭风险精准预测。

这些案例都是以问题为导向，说明人工智能解决临床的特定问题，但问题一定是源于临床，找到一个特定问题，高于临床找到适合的方法，回归临床看效果。

对于AI找肺结节类问题在临床上并不一定有实际意义，也许方法很炫，在特定数据集上也很有效，但距离实际的临床问题和患者都太远。

基于深度学习的影像智能诊断

影像组学还存在采用人工定义特征灵活性较低的问题，通过端到端的深度神经网络在数据中自动提取特征，能够减少对人的依赖，但这样的方法的可解释性给我们带来了挑战。

深度学习可以减少对人的依赖， 无需人工定义特征，但需要的数据量也就提高了，超声就是很好的案例。

超声图像数据量大，类型多，没有冠状面和矢状面，一般每个医生之间无法达成共识，与医生的操作手法有很大关系，恰恰适合深度学习。

超声图像大概有两类：静态和动态。静态分为B超图像、弹性成像；动态分为B超视频、造影视频。

我们在Medical Image Analysis上相继发表两篇文章，针对静态图像分割，建立深层局部注意金字塔神经网络模型，在多个超声数据集中分割精度与专家手动分割近乎一致。

针对动态视频追踪，建立级联单样本可变形卷积神经网络模型，对超声视频中肝癌实现高精度实时自动追踪。

基于深度学习的影像智能诊断方面，我也将重点分享六个案例：

案例1：超声影像组学-预测肝癌TACE治疗预后

肝癌患者TACE预后差异大，术前缺乏有效预测手段的问题。

我们和中山大学一附院合作，针对139例肝癌患者术前超声造影动态视频建立了3D CNN网络，进行视频数据特征自动学习，精准预测肝癌TACE治疗预后情况，精度可以达到0.93。

左边是超声造影图像，深度学习可以将超声动态视频转化为更直观的分类视频，红色代表预后贡献值，红色越多代表预后效果好，蓝色代表预后效果不好，上面这个人预后效果更好，即使不是医生也可以看懂。深度学习把数据变成知识，缩短了医生的学习曲线。

案例2： 卷积神经网络预后模型-肝癌治疗方案的选择-个性化诊疗

早期肝癌（5公分以下）选择肝切还是消融这个问题，我们以两百多例消融和肝切患者术前超声造影视频及预后随访数据为基础，得到17%消融患者和25%肝切患者诊疗方式应该互换，预后效果会更好，这就是个性化诊疗。

过去个性化诊疗凭大夫经验，根据化验结果和医学经验判断该肝切还是消融，但每个人经验是有限的。

使用卷积神经网络挖掘多相位超声视频特征，学习动脉期、门脉期、静脉期超声视频图像，然后集合Cox比例风险损失函数，就可以实现个性化诊疗，端到端进行预后预测。

通过AI计算，37位消融患者如果接受肝切治疗，两年PFS概率增加12%，56位肝切患者接受消融治疗，2年后PFS概率增加15%。

通过大数据和回顾性数据，可以对预后效果进行前瞻性预测，借助人工智能实现治疗方案的选择和推荐。

案例3：迁移学习—肺癌EGFR基因突变预测

影像不仅能逼近病理，还能做基因预测。原来判断肺癌有没有EGFR基因突变，需要进行穿刺。但穿刺风险很大，可能会激活肿瘤加快扩散，甚至穿刺可能带动肿瘤转移。

由于肿瘤异质性影响，一针不一定穿到肿瘤核心位置或想穿的地方。如果拍个CT就可以知道基因类型，可以解决规避很多风险，其中人工智能就可以发挥作用。

我们用迁移深度学习方法，对800余例肺腺癌患者多中心CT影像，进行基因突变预测。对EGFR突变给出预测，将其展现成可理解的知识。前面例子红色代表贡献值，是深度学习给出的肿瘤中EGFR基因突变高可疑区域。

对着高亮区域穿刺，效果会更好，也克服了前面的假阳性或假阳性结果，当然我们更重要进行无创的预测。

该成果发表在临床类顶刊-欧洲呼吸上，第一作者是一个工科学生，这个方法解决问题的效果好，实现了从影像+人工智能的基因预测。

案例4：半监督深度学习—卵巢癌复发时间预测

在卵巢癌复发时间预测中，我们还构建了基于Dense连接的卷积自编码器网络。

通过半监督深度学习挖掘缺乏随访CT影像的数据，从大量无随访CT影像中学习肿瘤关键特征，少量随访数据和大量无随访CT影像得到复发风险预测精度为C-Index=0.713；预测三年复发率AUC=0.772。

案例5：多模态特征融合—胃癌腹膜转移预测

第五个案例是胃癌隐性腹膜转移，这类疾病术前无法进行影像判断，给外科大夫带来很大困难。

外科大夫只有通过手术看到后才发现胃癌腹膜转移，按照NCCN指南开刀手术已经没有价值。

以前，外科大夫根据经验不知道是否有隐性腹膜转移，癌症患者开刀是首选，而我们可以用人工智能深度学习进行精准预测，通过构建融合影像组学特征和深度学习特征的分期预测方法，大幅提高腹膜转移诊断精度，对临床漏诊患者检出率达85%，这个文章发表在肿瘤权威的杂志上。

这个工作不仅发表了临床类杂志文章，杂志同期还邀请临床专家就深度学习述评，认为其可以做为一个有效的胃癌诊断工具，比现有临床分析和临床特征更加精确。这也证明人工智能发表在医学类杂志上的意义。

这个工作当年就写入中国临床肿瘤学会CSCO胃癌诊疗指南，让更多病人避免白挨一刀，也让更多医生不用开一个没有价值的刀。

案例6：全自动深度学习模型—新冠肺炎诊断

今年新冠疫情的影响下，我们对新冠肺炎的诊断进行研究，针对新冠肺炎与其他肺炎的鉴别，我们构建端到端深度学习进行自动检测。

深度学习模型自动关注肺内结节和炎症区域，实现全自动新冠肺炎诊断，在来自两家中心独立外部验证集上AUC均大于0.87。

由于主要是鉴别新冠，研究采用了6家医院1266例肺炎患者的CT影像（924例新冠，324例其他肺炎），还有另外两家医院做独立外部验证集，AUC达到0.87和0.88。

该工作是深度学习大数据回归的结果，使模型关注肺内结节和炎症区域，让判断更加准确。

特异性新型卷积神经网络模型

特异性新型卷积神经网络模型这方面也有很多工作，针对医学应用，我们提出了多尺度池化方法，强化肿瘤内部关键信息，把肿瘤瘤内、瘤外、瘤周信息进行多尺度提取，实现肺癌早期诊断，文章发表在Pattern Recognition杂志上。

我们还提出中心池化卷积神经网络分层量化肿瘤空间信息概念，与传统池化、均匀量化相比，通过非均匀中心池化窗约束对瘤内、瘤周、瘤外区域分别使用不同大小的池化窗，实现基于空间信息的特征筛选，得到更多特征信息。

医疗人工智能的前沿热点方向

第一，病理-影像大数据融合影像组学研究

前面是以影像为主进行挖掘，病理图像也是图像，也很适合人工智能，如果把影像挖掘跟病理挖掘合二为一，效果肯定会1+1>2。

案例：影像病理组学辅助直肠癌疗效预测

这是第一个课题，从影像组学得到的结果，把影像组学+病理图像结合，准确率提高15%以上，说明利用多组学分析能解决更多问题。

第二，构建医学影像大数据

医工交叉和人工智能医学领域应用基础就是数据库，这是中国的一个优势，美国TCGA数据库做了很多年才达到1万例。中国数据比较多，我们团队已经积累了10万多例肿瘤数据。

第三，研发医学影像智能分析辅助诊断软件

另外一个重要元素就是算法，把算法软件集成在一起，形成算法库，供医生使用（开源），目前国内外已经有13万人次下载。

我觉得未来AI还将进化到4.0时代，从数据直接获得知识。从数据到图像就是为了供人观看，但生成图像，会有很多噪声，丢掉很多信息。

未来如果人工智能从数据到知识，对于整个医学影像和放射科都将是一种颠覆，目前国内外都在研究。

最后总结一下，今天强调的是问题导向：源于临床，找到特定问题；高于临床，找到适合的人工智能方法；回归临床，让人工智能解决问题，让患者获益。

这个工作必须医工交叉，互补合作。很高兴这几年影像和超声医生，一直在尝试，发表了一系列学术顶刊，这些工作将使医疗人工智能持续发展的生命力。雷锋网 (公众号：雷锋网) 雷锋网

雷锋网原创文章，未经授权禁止转载。详情见 转载须知 。