联影智能联席ceo沈定刚：如何将ai应用到新冠肺炎诊断全流程？ | ccf-米乐m6平台

编者按：2020年8月7日，全球人工智能和机器人峰会（ccf-gair 2020）正式开幕。ccf-gair 2020 峰会由中国计算机学会（ccf）主办，香港中文大学（深圳）、雷锋网(公众号：雷锋网)联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办。从2016年的学产结合，2017年的产业落地，2018年的垂直细分，2019年的人工智能40周年，峰会一直致力于打造国内人工智能和机器人领域规模最大、规格最高、跨界最广的学术、工业和投资平台。

在8月9日的医疗科技专场上，联影智能联席ceo、miccai 2019大会主席、ieee fellow沈定刚教授发表了开场报告，介绍了医疗ai在新冠肺炎诊断全流程中的应用。

沈定刚教授表示，目前新冠肺炎仍然在全球蔓延，全球有1800多万人确诊，ct成为新冠肺炎诊断、评估和随访的重要手段。然而，这个过程中存在最重要的两个痛点，首先，如何帮助医生尽量避免感染；其次，有了ct图像后，如何用人工智能的方法进行肺炎的量化分析、辅助诊断和随访。

为此，联影智能提出了三个米乐m6平台的解决方案：无接触扫描、肺炎量化分析、随访评估与诊断。

沈定刚教授表示，为了避免病毒传播，有的操作技师在新冠肺炎早期甚至通过竹竿这样的工具远程操作ct扫描，原始且危险。为此，联影集团研发了ai智能采集系统，把边缘计算和摄像机结合，自动采集人体三维形态和部位信息，自动操作ct扫描，满足医生在操作间就可完成扫描任务。

在肺炎分割与量化方面，主要是为了实现三个目标，新冠肺炎判别、危重程度检测以及判断进展变化，沈教授介绍了联影智能的uai分割引擎，可以对肺炎、5个肺叶、18个肺段进行精确的分割。

在随访评估与诊断层面，有些新冠肺炎病例与普通肺炎病例有相似的感染程度，因此，联影智能提出了基于感染信息的注意力网络 (attention-guided network)，用分割出的感染区域引导分类器聚焦于感染区域；在评估新冠肺炎严重程度上，提出了一种多任务、多示例学习模型 (multi-task multi-instance framework)；在危重预测与演变时间估计上，为了解决样本不平衡以及特征复杂且高维的挑战，提出了联合分类与回归的稀疏模型 (joint sparse classification and regression)：让两个任务共享相同特征，用于改进各自的性能、解决数据不平衡问题以及针对所选特征，作出临床解释。

以下为沈定刚的现场演讲内容，雷锋网作了不改变原意的编辑及整理

沈定刚：大家下午好！今天我演讲的题目是《科技抗“疫”：智能影像，助力新冠肺炎诊断全流程》。

大家都知道，新冠肺炎仍然在全球蔓延。目前，全球有1800多万人确诊，ct成为新冠肺炎诊断、评估和随访的重要手段，但是当初跟现在一样存在两个大的痛点：首先，战疫前线，医患接触密切，医生、技师受感染的很多；其次，每个病人都会进行ct扫描，对医生来说如何快速读片，这里面有很多诊断的压力和工作的负担。

如何用智能化的诊断、特别是全栈米乐m6平台的解决方案来解决这个问题？

第一，是无接触的扫描，可以帮助医生尽量避免感染新冠肺炎。其次，有了ct以后，利用人工智能的方法进行肺炎的量化分析、诊断和随访。

无接触扫描

传统的扫描当中，技师需要跟病人在一起，及时调整病人的位置，同时操作机器进行相应的扫描。这样的方式在新冠肺炎期间会不可避免地会被感染。

因此，有一些非常聪明的技师，会躲在一个小房间里面，通过竹竿操作机器上的按纽，这样可以保持自己和病人之间的距离。

人工智能在这方面有很多的应用，从右边的图可以看到，有ai智能采集系统，把边缘计算跟摄像机放在顶端，病人进入房间以后，人体三维形状和每个部位的信息都可以采集下来。左边，医生和技师在另外的房间里面，可以观察病人一系列的情况，再确认扫描。

通过摄像机获得的信息控制机器，移动病人的扫描床移到ct里进行快速扫描，医生通过看到的扫描图像进行快速确认，“无接触扫描”在新冠肺炎期间得到了很广泛的应用。

其中用到的技术是智能定位技术，即如何把计算机视觉的方法用到扫描前的自动化。通过上方的摄像机可以看到病人的图像，用ai（通过几百万人三维模型训练）通过二维的摄像机重建三维的姿态。最后，三维网格像衣服一样覆盖在人的身上，每个网格对应着身体的具体部位，如果这个人比较胖，这个“网状的衣服”会拉大。

也就是说，ai摄像机可以知道身体里每个部位的大小，扫胸部ct的时候就可以识别胸部在哪里，把这些信息告诉给机器，然后指挥机器把人送到扫描设备里面。

在新冠肺炎期间，即使是患者戴口罩也能识别，包括各种姿态。我们做测试的时候，用手机把脸遮住，也可以把人体三维的形状建模出来。

除了用于ct以外，uai vision的技术（扫描前自动化的技术）也已经用到了mi、pet-ct、dr上面。

以dr为例，扫描前可以把人体上的任何信息传递给机器，远程控制dr，如果是扫胸片的话就可以把机器往下移，然后进行扫描。

这就是我们如何将计算机视觉应用在扫描自动化上的案例。无接触扫描技术可以放在传统的ct里，也可以放在联影的方舱ct里。

大家可以看到方舱ct有两个门，一个门是病人进出，另一个门是技师进出。ct设备上方是摄像机，病人进入以后，所有的三维形体可以用来控制机器，技师在另外一个房间确认扫描，这样可以最大限度地保护技师不受感染。

如何用ai进行肺炎分割与量化？

除了用ai进行无接触的扫描。还有一个问题是，病人躺在ct床上时，能否非常快速地用人工智能的方法确定病人有没有肺炎？如果有肺炎的话，是新冠肺炎还是普通肺炎？

接下来讲一下如何用ai技术进行肺炎定量化分析。

我们用的是联影智能的uai分割引擎，输入是三维的ct图像。在输出的结果里，除了肺炎的区域，还非常精准地把5个肺叶、18个肺段分割出来，分割之后就可以知道肺的哪个地方出了问题。

在一月底、二月初，我们研发这个软件时有个很大的问题：我们有很多ct图像，然而很少有标注好的图像。但是，我们需要在几天内全部完成算法、软件等开发工作。

在计算机视觉或者深度学习领域里面，前一两年讲的比较多的方法是“人在回路”的方法。“人在回路”就是我们要把分割引擎在有标注的数据上进行训练，把训练好的模型用到没有标注过的数据里，去帮助标注数据。

但有一个问题是，大家认为分割得比较好的话，可以人工修正一下再放到训练样本里面去，从而帮助迭代优化；但其实我们是这样认为的：越是分割差的，越需要人工修正，因为分割差的训练样本跟我们现有的训练样本是非常不一样的。通过快速迭代的方法，把大量的数据人工修正、标注以后，用于训练ai引擎，从而进行新冠肺炎的分割。

这个软件不仅可以把肺炎分割好，还可以把左肺、右肺都分割出来，比如左肺有两个肺叶、右肺有三个肺叶，把这五个肺叶都分割出来，并且分割出十八个肺段，这样就可以知道肺炎在哪个肺叶、哪个肺段上，每一个部分都可以做定量化的分析。

定量化分析在ct里面非常重要，因为可以知道肺炎的成分。在这里，我们就可以看到哪个位置是磨玻璃样，磨玻璃是新冠肺炎里非常重要的征象。

在新冠肺炎病例上，定量化分析技术很重要的一个应用还有随访。

新冠肺炎病人每3-5天需要扫一次图像，医生需要看当天跟前几天的情况有没有区别。比如我们可以看到三、五天前肺炎的分布在那里，今天扫ct图像之后，我们可以把肺炎分割好，把每个部位的成份显示出来，看到整个肺炎hu的分布从右边移到了左边。也就是说，随着治疗，病人的状况在变好，因为健康的肺里面hu值通常非常低。

新冠肺炎期间，这个技术在国内外100多家医院得到了使用，包括武汉的20多家医院包括火神山医院，全国top10的医院如上海瑞金医院、华西医院、北大人民医院，也都使用我们的新冠肺炎智能辅助分析系统。

我们还把这个系统放在云端，偏远地方的医院也可以使用。同时这个系统在马来西亚、非洲、欧洲也都得到使用。

鉴别诊断, 病情评估与预测

刚才讲到如何用计算机视觉做扫描前的自动化来保护医生，第二个讲到如何用人工智能的方法帮助肺炎、肺叶、肺段分割。

肺炎分割的第三个目的是希望鉴别诊断、病情的评估与预测，这里面有三个问题需要回答。

第一个问题是，病人躺在ct床上的时候，医生采集到ct，医生要回答的是这个病人有没有肺炎？如果有肺炎的话，是新冠肺炎还是普通肺炎？

第二个问题，如果这个病人有新冠肺炎，到底是轻症还是重症？

第三个问题，如果是轻症的话，后期会不会成为重症？

我们来一一阐释面对这三个问题所做的工作。第一个工作是如何基于深度学习的方法进行新冠肺炎的鉴别诊断。

这个图里面可以看到，蓝色区域是ai自动分割的肺炎感染的区域，中间是普通肺炎，这技术用到所有训练样本里面，红色表示新冠肺炎的大小和体积，蓝色是普通肺炎的大小和体积，可以看到新冠肺炎感染的区域大于普通肺炎，但是在感染面积的大小上，新冠肺炎与普通肺炎区别不大。所以要从普遍肺炎里面区分新冠肺炎，这是比较难的一个问题。

在我们发表的文章里面，我们使用了基于感染信息的注意力网络，也就是说如何用分割出来的肺炎指导鉴别诊断新冠肺炎还是普通肺炎。我们可以看下面的网络，把ct里面的肺分割出来，输入到3d resnet34网络里面，从得到的特征来进行一系列的诊断，包括全连接层，来判断这个病人是新冠肺炎还是普通肺炎。

刚开始做的时候，这样的网络有非常好的结果，但是回头看，信息来自哪里？可能是来自肺以外，跟肺没有什么关系。因此，把这个信息用于新的医院里面还可以用吗？

后续我们改进了网络，使用了另一个attention refinement机制，从特征map里面构造出attention map，使得attention map跟分割出来的肺炎区域非常相似，这样一来就能保证用于新冠肺炎鉴别的特征来自肺里面感染的区域。

我们将与全国八家医院、将近5000个三维ct、来自3600多个病人数据用于训练与测试，最后我们得到的精度有88%，可以把新冠肺炎从普通肺炎里面分辨出来。这也说明，如果用感染区域作为指导的话，可以提高至少2%的精度。

病人还躺在ct床上的时候，就可以马上判断有没有肺炎、是新冠肺炎还是普通肺炎，如果确认这个病人有新冠肺炎的话，医生马上会问是轻还是重症？这个时候我们会用多任务、多示例的学习方法来进行严重程度的评估。

这里有一个实际问题，我们这个系统用于全国这么多医院，而每个医院用的扫描设备来自不同的公司，同一个扫描设备里面的扫描序列也不一样，特别是扫ct的时候，有些扫得薄，有些扫得厚。

这个时候，我们会采样一系列样本，每个样本从网络里面提取相应的特征，把这些共同的特征提取出来，再把全局的特征进行提取，最后用于严重程度的评估。

回到我们刚才说的，我们做新冠肺炎与普通肺炎鉴别的时候，希望我们用的特征来自于肺炎。同理，我们希望对严重程度进行评估的话，也是来自肺里面的信息。于是我们加了另外一些要求，希望这些特征还可以把肺里面的肺叶、肺段非常精确地分割出来。

这个技术用于7家医院666个ct、242个病人，其中有51个是危重病人，ct层厚从0.399毫米到10毫米，也可以得到很好的结果。

第三个问题，如果发现这个病人是轻症病人，医生会关心这个病人会不会成为危重病人？新冠肺炎早期的很大问题就是我们对新冠肺炎感染的过程了解非常不深入。

这是同一个病人扫的图像，从刚进医院开始，到第三天、第六天一直到十几天，可以看到新冠肺炎感染的区域越来越多，到了14天开始肺炎吸收了，如果对照第一天，可以看到肺炎发展得非常快，这里面的过程也是非常复杂的。

给大家看一个非常有趣的结果，我们把300多个病人、1700多个三维ct，把肺和肺叶都分割出来，然后用配准的技术把他们配到一个标准的肺的空间。可以看到肺炎发病初期，肺炎在肺里面是如何分布的，如何发展、吸收、再增大、再吸收，这是一个很复杂的过程。新冠肺炎早期我们对它的了解很少，以为吸收了病人就快好了，但是病人可能突然去世，因为这个复杂过程大家开始都不了解。

所以，轻症的病人会不会发展成危重病人，这个问题如果提前知道的话，就可以更好地管理新冠肺炎病人。另外，如果是轻症的话，如果发展成重症，那么多少天以后会变成重症呢？

从技术角度讲这是一个分类问题，也是一个很难的问题，因为轻症和重症病人的样本非常不平衡。我们用刚才讲的分割技术把左肺分成两个肺叶，右肺分成三个肺叶，左右肺一起分成18个肺段，总共26个区域，每个区域里面把hu值分成5个hu区间，每个区间计算出hu的密度、体积和质量，得到总共390个特征。

然后，用联合分类和回归的稀疏模型，以解决数据不平衡的问题。当然，更重要的是可以给临床上进行很好的解释。用这样的技术，可以估计病人多少天以后可能成为危重病人，我们的精度差异是0.55天，这是非常高的精度。

ai的未来机遇

这样一系列的新冠肺炎全栈米乐m6平台的解决方案，在上个月的世界人工智能大会上获得了sail大奖，同时还获得了信通院测评优异奖和工信部防疫证书。

在新冠肺炎中应用之外，人工智能还可以用于脑出血、老年痴呆症早期诊断、用图像计算的方法帮助医生进行精神类疾病的量化分析。除了联影智能，国内还有一系列公司在做人工智能的应用，这也是非常好的方向。我们需要跟医院、跟医生进行非常紧密的合作，才可以把ai技术用于临床。

除了筛查、诊断环节，ai在成像方面的应用也非常重要。一、两个月前我们做了acs，也就是“智能光梭成像”，把核磁共振进入百秒时代，从头到脚的每个部位扫描都在百秒以内。

我们知道，现在美国扫描一个病人需要30到40分钟，我们国内精简到15分钟。如果在百秒以内扫描完一个病人，就可以在几分钟之内告诉医生病人的状态是什么。

用ai技术还可以在成像端加速，最后的目标是用ai技术把硬件成本降下来。联影智能把三分之一的精力花在如何为机器赋能上，目标就是让成像设备扫的更快、更准、剂量更低。

这是我今天演讲的全部内容，谢谢大家！