酷应用

CVPR oral解读：医疗AI最新进展，可媲美人类医师推理能力的图像检测算法

百家作者：新智元 2020-06-18 13:35:27

??新智元报道??

来源：cvpr

编辑：白峰、舒婷

【新智元导读】疫情让大众更加关注医疗健康。而在刚刚过去的CVPR2020中，也有很多医学方面的研究工作。深睿医疗就有四篇论文入选，其中三篇为oral，其论文涵盖了医疗图像识别，姿态估计等多个主题，在医疗AI方面取得了优异的成绩。?

CVPR竞争一年比一年更激烈。

从公布的论文接收结果来看，在5865篇有效投稿中有1467篇论文被接收，接收率仅为25%，oral按照往年经验，一般只有5-7%，竞争越发激烈。

由于疫情，医疗行业的计算机视觉今年也备受关注，无论是oral，poster，还是tutorial，workshop，都有不少医疗健康领域的科研成果。

其中，深睿医疗就有四篇科技论文入选，三篇选为oral，确实获得了一个相当不错的成绩。

基于二部图的图像检测算法，拥有了媲美人类医师的推理能力

乳腺癌已成为当前社会的重大公共卫生问题之一，因此乳房X光照片质量检测具有重要的临床意义。来自轴斜位视图（即中外侧斜肌和颅尾骨）的信息和乳腺疾病是高度相关的，有助于医生做出全面的决策。

放射科医师能够在横断面图像识别出肿块，但是大多数现有的图像识别方法缺乏领域知识的指导，推理能力很差，因此会限制其性能。

下面这篇论文介绍了一种先进的二部图卷积网络，使算法具备了类似放射线医师的轴斜位视图推理能力。

? ? ? ?

我们来看一下二部图网络是如何实现推理能力增强的。

? ?

? ? ? ?

二部图将跨视图主干特征作为输入，并输出增强的特征以进行进一步的预测。首先，通过用伪标记映射空间视觉特征来构造二部图节点。每个映射单元是每个图形节点的代表区域。然后，二分图边缘学习对几何约束和语义相似性进行建模。接下来，通过在二部图中传播信息来进行对应推理以增强特征。最后，增强的特征将与原始信息聚合在一起，进行进一步的预测。

在DDSM数据集上的实验结果表明，该算法达到了最先进的性能。此外，视觉分析表明该模型具有明确的物理意义，有助于放射科医生进行临床解释。

同现有的方法相比，同等假阳性下检出敏感性高出4个百分点，同等敏感性下假阳性减少了近60%，充分验证了算法的有效性。这篇文章也被选为2020年CVPR的ORAL，该算法也已经应用到深睿医疗的乳腺钼靶AI医学辅助诊断系统，用于乳腺疾病的早期筛查。

病例文本数据及影像数据的关联挖掘全搞定：基于自然语言处理的图像识别

图像识别依旧是今年CVPR的大热方向，接受论文比例是各个主题中最高的。《Graph-Structured Referring Expression Reasoning in The Wild》（图形结构的引用表达式推理）是由深睿研究员和香港大学计算机科学系联合发表的，主要讨论了一种基于自然语言处理的图像识别方法。

?? ? ??

? ? ? ?

这种方法利用自然语言描述来定位图像上的目标物体。作者提出了场景图引导的模块网络(SGMN)，该网络在表达式的语言结构的指导下，通过神经模块网络对图像语义图和语言场景图进行推理。

此外，作者还提出了Ref-Reasoning——用于结构化指称表达式推理的大规模真实数据集。该数据集包含真实图像和具有不同推理布局的语义丰富的表达式。

参考集包含83,989张图像中的791,956个参考表达。它具有721,164、36,183和34,609个表达参考对，分别用于训练，验证和测试。RefReasoning包含许多语义丰富的表达式，这些表达式描述了不同的对象，属性，直接关系和间接关系。

实验结果表明，SGMN在新的Ref-Reasoning数据集上明显优于现有的最新算法，并在常用的基准数据集上超过了最新的结构化方法。

这项技术在医疗场景下发挥了巨大的作用，可以用于病例文本数据及影像数据的关联挖掘。

Deep Snake：实时实例分割算法识别物体轮廓

深睿研究院的另一篇论文：《Deep Snake for Real-Time Instance Segmentation》（Deep Snake实时实例分割算法）是与浙江大学计算机学院合作发表的。Deep Snake用深度学习的方式实现了传统的主动轮廓模型思想，使用神经网络将初始轮廓迭代变形为物体轮廓。

? ? ? ?