【智能医疗】发挥人类想象力和创造力，如何实现智能医疗？

2017 年 11 月 28 日 产业智能官 猎云网

为医生提供智能辅助诊断服务，慧影AI应用系统采用迁移学习法实现肺结节早期智能筛查

人工智能已经进入到迅速发展的时代。为抓住发展机遇，国务院发布人工智能发展规划，将其作为未来国家重要的发展战略。作为其中的重要一项，智慧医疗被明确提出在未来的发展规划，即加快人工智能创新应用，为公众提供个性化、多元化、高品质的服务。

从医疗领域来看，医学影像在医疗中的作用非常明显。数据显示，医疗临床诊断中70%依靠医学影像。因此，实现智能影像识别，成为建立快速、精准、智能医疗体系中的重要一环。

猎云网（微信：ilieyun）近日接触到一套应用于医学影像诊断上的人工智能解决方案——“慧影AI应用系统”，其主要通过机器学习对影像进行智能辅助诊断。数据显示，在诊断准确率上，该系统的肺结节检出率能够高达90%以上。目前慧影AI应用系统已经应用于部分医院。

一、采用Tensortflow核心算法构建竞争力（产业智能官：不重复制造“轮子”，基础框架直接拿来使用）

慧影AI应用系统由北京宏梓伟业科技发展有限公司独立开发设计，公司是一家从事医疗信息化系统设计、研发及销售的科技公司，前身是与东北大学、大连理工大学几位博士生导师建立的工作室。目前，公司已经研发出医院经营管理系统、电子签名系统、生殖中心管理系统均已开始临床使用。

宏梓伟业核心创始团队人员专注于医疗相关软件系统的开发与研究，拥有十几年科研领域的研究背景，他们认为，利用AI技术进行医疗影像诊断能够解决医生当前的痛点，帮助临床医生高效地解决问题，于是，凭借在医疗领域积累的深厚经验和结合团队专业的科研背景，公司于今年研发了慧影AI应用系统。

慧影AI应用系统采用谷歌二代的人工智能架构Tensortflow，它是一个用于数值计算的开源软件库，具有高度灵活性、真正的可移植性、多语言支持和性能最优化四方面的特点。与其他开源库相比，宏梓伟业采用Tensortflow开源库，其原因在于人工智能、深度学习技术处于爆发期，算法升级迭代快，因此，公司基于自身的算法，选择了可以部署在Windows系统和Linux系统的Tensortflow，而一般系统仅使用于Linux单系统。

目前，慧影AI应用系统已经获得国家知识产权局授权（产业智能官：算法虽然是开源的，但是基于私有数据训练出的模型也是私有的，此模型是企业核心竞争力，可以申请获得国家知识产权。），可以正式应用到医疗领域。

二、依托两大科技人才库与医疗背景的支持，保证产品的研发水准（产业智能官：知识图谱也好，神经网络权重也罢，首先都是人类专家知识的数字化。）

将人工智能技术应用于医疗领域，能够解决优质医疗资源不足和分配不均衡、医疗看病支出费用大的问题。同时，在医学影像识别、疾病辅助诊断、外科手术等方面，人工智能可以辅助医生，提高影像科医生工作效率。在对于患者病历数据的处理速度，准确度、稳定性方面，人工智能还可以辅助医生帮助确诊，对影像报告进行精确的量化。

据悉，截止今年8月份，国内已有80多家人工智能+医疗企业获得融资，其中不乏巨头的布局。在这条竞争赛道上，慧影AI应用系统具备自己的竞争优势，除采用Tensortflow开源算法，能够达到与合作厂商联合开发应用到硬件设备中，形成捆绑销售外；慧影AI应用系统还可应用于Linux系统和Windows系统，使得医院等医疗机构对接起来更为简便，更易于采购。（产业智能官：合作模式创新、销售模式创新。AI产品化不仅仅是技术问题。）

另外，要提高影像诊断准确率，系统需要研究大量的临床病例数据。宏梓伟业表示，项目成立之初面临数据来源难以及数据来源需要合法性的问题，为此，慧影AI应用系统在缺乏海量数据的基础上，采用迁移学习的方法弥补不足，并通过这种学习方法达到了较高的准确性。（区块链解决数据安全性问题，迁移学习解决数据量不够问题。——发挥人类想象力和创造力吧，问题总能找到答案。）

在现有面向计算机视觉的深度学习算法基础上，慧影AI应用系统还融入了解剖学与病理学先验知识（还可以融入知识图谱先验知识），以一组影像序列做为整体目标对象，提高了检测精度和，降低了假阳性的概率。

目前，该系统已经与临床医院进行深度合作，推出的第一项应用是肺结节早期智能筛查。慧影AI应用系统能从CT扫描中自动分割肺部，并自动标记疑似肺癌结节的组织结构位置，大小等信息，辅助医生对医学图像进行分析，临床医生提高早期肺癌检出率。

合作方面，慧影AI应用系统已经获得东北大学人工智能实验室、纽约大学AI实验室两大科技人才库的支持。并与东软集团股份有限公司等医疗上市公司以及央企事业单位达成合作。接下来，将继续深入研究临床病例数据，提高影像诊断准确率。

慧影AI应用系统团队中已有三名博导，七名博士和硕士二十五人。其中，首席科学家、教授、博士生导师付冲现为IEEE会员，中国通信学会会员，中国计算机学会会员。2011年11月任东北大学信息科学与工程学院通信与信息系统研究所副所长。联合创始人赵伟是慧影AI系统市场拓展负责人，曾有8年市场销售经验，5年B端医疗市场销售经验；联合创始人王梓拥有五年医疗领域项目管理经验。

项目正在寻求1200万人民币天使轮融资，计划出让8%的股份。资金主要用于与医疗机构合作上的数据获取、技术研发、营销等渠道。

项目：慧影AI应用系统公司：北京宏梓伟业科技发展有限公司

本文来自猎云网，如若转载，请注明出处：http://www.lieyunwang.com/archives/386185

人工智能如何更好的辅助医生？Petuum研究自动生成医疗图像报告

来源：机器之心

Petuum 专栏

作者：Baoyu Jing、Pengtao Xie、Eric Xing

机器之心编译

在过去一年中，我们看到了很多某种人工智能算法在某个医疗检测任务中「超越」人类医生的研究和报道，例如皮肤癌、肺炎诊断等。如何解读这些结果？他们是否真正抓住医疗实践中的痛点、解决医生和病人的实际需要? 这些算法原型如何落地部署于数据高度复杂、碎片化、异质性严重且隐含错误的真实环境中？这些问题常常在很多「刷榜」工作中回避了。事实上，从最近 IBM Watson 和美国顶级医疗中心 MD Anderson 合作失败的例子可以看出，人工智能对医疗来说更应关注的任务应该是如何帮助医生更好地工作（例如生成医疗图像报告、推荐药物等），而非理想化地着眼于取代医生来做诊断，并且绕开这个终极目标（暂且不论这个目标本身是否可行或被接受）之前各种必须的铺垫和基础工作。因此与人类医生做各种形式对比的出发点本身有悖严肃的科学和工程评测原则。这些不从实际应用场景出发的研究，甚至无限放大人机PK，对人工智能研究者、医疗从业者和公众都是误导。

知名人工智能创业公司 Petuum 近期发表了几篇论文，本着尊重医疗行业状况和需求的研究思路，体现出了一种务实风格，并直接应用于他们的产品。为更好地传播人工智能与医疗结合的研究成果，同时为人工智能研究者和医疗从业者带来更加实用的参考，机器之心和 Petuum 将带来系列论文介绍。本文是该系列第一篇，介绍了如何使用机器学习自动生产医疗图像报告，从而更好地辅助医生做治疗与诊断。

如今，放射学图像和病理学图像这样的医疗图像在医院与诊所已有普遍的应用，特别是在许多疾病的诊断与治疗上，例如肺炎、气胸、间质性肺病、心理衰竭等等。而这些疾病医疗图像的阅读与理解通常是由专业的医疗从业者完成。

但对缺乏经验的放射科医师或病理学家来说，特别是在乡村地区工作的医师，编写医疗图像报告更为艰难。对经验丰富的医师而言，编写医疗图像报告又过于乏味、耗时。总之，对二者而言编写医疗图像报告是件痛苦的事。

如此看来，能否使用机器学习自动生成医疗报告呢？为了做到这一点，我们需要解决多个挑战。首先，一份完整的诊断报告包含多种不同的信息形式。如下图 1 所示，胸腔 X 光照图像报告包含 Impression 描述，通常是一句话；Findings 是一段描述；Tags 是一列关键词。用一个统一的框架生成这样的不同信息，技术上非常有挑战。在这篇论文中，研究人员解决该问题的方法是建立一个多任务框架，把对标签的预测当作多标签分类任务，把长描述（例如生成 Impression 和 Findings）的生成当作文本生成任务。在此框架中，两种任务共用同样的 CNN，来学习视觉特征并联合完成任务。

图 1. 一个包含三部分信息的胸部 X 光报告示例。在 impression 部分，放射专家结合 Findings、病人临床历史及影像学研究的指导做出诊断。Findings 部分列出了影像学检查中所检测的身体各部分放射学观察结果。Tags 部分给出了表示 Findings 核心信息的关键词。这些关键词使用医学文本索引器（MTI）进行标识。

第二，医疗图像报告通常更注重叙述异常发现，因为这样能直接指出疾病、引导治疗。但如何定位图片中的病变区域并附上正确的描述非常困难。作者们解决该问题的方法是引入一种协同注意力机制（co-attention mechanism），它能同步关注图像和预测到的标签，并探索视觉与语义信息带来的协同效应。

第三，通常医疗图像的描述非常长，包含多个语句或段落。生成这样的长文本非常重要。相比于直接采用单层 LSTM（难以建模长语句），作者们利用报告的合成特性采用了一种层级 LSTM 来生成长文本。结合协同注意力机制，层级 LSTM 首先生成高级主题，然后根据主题生成细致的描述。

总而言之，该论文的主要贡献包括：

提出一种多任务学习框架，能同步预测标签并生成文本描述；
介绍了一种协同注意力机制来定位异常区域，并生成相应的描述；
建立了一种层级 LSTM 来生成长语句、段落；
通过大量定量与定性的实验展示该方法的有效性。

论文：On the Automatic Generation of Medical Imaging Reports

论文地址：https://arxiv.org/abs/1711.08195

摘要：医学影像广泛用于诊断和治疗等医疗实践中。通常专业医师需要查看医学影像，并写文本报告来记录发现。缺乏经验的医生写报告容易出错，且在医患比例过低的国家，编写报告会耗费大量时间。为了解决该问题，我们研究了医学影像报告的自动生成系统，以帮助人类医生更准确高效地写报告。但目前该任务面临多个挑战。首先，完整的报告包含多种异质形式的信息，如用段落表示的发现和关键词列表表示的标签。第二，机器很难识别医学影像中的异常区域，在此基础上生成文本描述则更加困难。第三，报告通常比较长，包括多个段落。为了解决这些挑战，我们（1）构建一个多任务学习框架，能够同时执行标签预测和段落生成；（2）提出一种协同注意力（co-attention）机制来定位异常区域，并生成描述；（3）开发一种分层 LSTM 模型用于生成长段落。最后我们展示了该方法在胸部 x 光和病理数据集上的有效性。

图 2. 整个模型的结构与过程。其中 MLC 代表多标签分类网络，语义特征是预测标签的词向量。粗体标记的「calcified granuloma」和「granuloma」是协同注意力网络关注的标签。

3. 方法

在本章节中，我们将介绍具体使用的方法。以下简要地介绍了整个方法的过程，各部分详细的过程或理论请查看原论文。

一份完整的医学影像报告通常包括非结构化的描述（以语句和段落的形式展示）和半结构化标签（以关键字列表的形式展示），如上图 1 所示。我们提出了一种多任务层级模型，该模型带有协同注意力机制（co-attention）且能自动预测关键字并生成长段落。给定一张经过分割的图像，我们使用一个 CNN 来学习这些图像块的视觉特征。然后再馈送这些视觉特征到多标签分类网络（MLC）以预测相关的标签。

在标签词汇表中，每一个标签由一个词向量表征。若给定特定图像一些预测的标签，模型会检索它们的词嵌入向量以作为该图像的语义特征。模型随后将视觉特征和语义特征馈送到协同注意力（co-attention）模型以生成能同时捕获视觉和语义信息的上下文向量。至此，编码的过程就完成了，下面模型将从背景向量（context vector）开始解码生成文本描述。

医学影像的描述通常包含多条语句，并且每条语句都集中在一个特定的主题上。我们的模型利用这种组合结构以层级的方式生成报告：它首先生成一系列代表语句的高级主题向量，然后在根据这些主题向量生成一系列的语句（由单词组成的序列）。具体来说，先将背景向量输入到一个只有少量时间步的 Sentence LSTM 中，然后每一个背景向量就能生成一个主题向量。其中每个主题向量都表示一条语句的语义。随后给定一个主题向量，Word LSTM 将以它为输入生成一个单词序列或语句。主题生成的终止条件由 Sentence LSTM 控制。

4. 实验

我们使用以下文本生成评估手段（BLEU [13]、METEOR [4]、ROUGE [12] 和 CIDER [17]）度量段落生成（表 1 上半部分）和单语句生成（表 1 下半部分）的结果。

如表 1 上半部分所示，对于段落生成来讲，使用单个 LSTM 解码器的模型的表现明显要差于使用层级 LSTM 解码器的模型。

对于单语句生成（见表 1 下半部分）的结果来说，我们模型的控制变量版（Ours-Semantic-Only 和 Ours-Visual-Only）相较于当前最优的模型取得了有竞争力的分值。

表 1. 模型在 IU X-Ray 数据集（上半部分）上生成段落的主要结果，以及在 PEIR Gross 数据集（下半部分）上生成单语句的结果。BLUE-n 表示最多使用 n-grams 的 BLUE 分值。

为了更好地理解模型检测真实或潜在异常情况的能力，我们在表 2 中展示了描述正常情况与异常情况的语句，及它们所占的比率。

表 2. 描述图像中正常情况和异常情况语句所占的比率。

图 3. 协同注意力、无注意力、软注意力模型生成的段落图示。划线句子是检测到异常情况的描述。第二个图是胸部侧面 x 光图像。前两个例子的结果是与真实报告相一致的，第三个出现了部分失败，最底下的图像完全失败。这些图像来自测试数据集

图 4 展示了协同注意力的可视化。第一个特性是 Sentence LSTM 能够关注图像的不同区域和语句的不同标签，并在不同的时间步上生成不同的主题。第二个特性是视觉注意力可以指引模型关注图像的相关区域。

图 4. 协同注意力在三个示例上的可视化。每个示例由四部分组成：（1）图像和视觉注意力；（2）真实标签，预测标签以及预测标签上的语义注意力；（3）生成的描述；（4）真实描述。对于语义注意力而言，注意力分数最高的三个标签被突出显示。加下划线的标签是在真实标签中出现的标签。

本文为机器之心经授权编译

人工智能赛博物理操作系统

AI-CPS OS

“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能）分支用来的今天，企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-CPS OS形成数字化+智能化力量，实现行业的重新布局、企业的重新构建和自我的焕然新生。

AI-CPS OS的真正价值并不来自构成技术或功能，而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化，这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合，没有颠覆现状的意愿，这些将不可能实现。

领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量，领导者必须在行业、企业与个人这三个层面都保持领先地位：

重新行业布局：你的世界观要怎样改变才算足够？你必须对行业典范进行怎样的反思？
重新构建企业：你的企业需要做出什么样的变化？你准备如何重新定义你的公司？
重新打造自己：你需要成为怎样的人？要重塑自己并在数字化+智能化时代保有领先地位，你必须如何去做？

AI-CPS OS是数字化智能化创新平台，设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端，可以帮助企业将创新成果融入自身业务体系，实现各个前沿技术在云端的优势协同。AI-CPS OS形成的数字化+智能化力量与行业、企业及个人三个层面的交叉，形成了领导力模式，使数字化融入到领导者所在企业与领导方式的核心位置：

精细：这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切，进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。
智能：模型随着时间（数据）的变化而变化，整个系统就具备了智能（自学习）的能力。
高效：企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力，这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。
不确定性：数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验，其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域：技术、文化、制度。
边界模糊：数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化，还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长：

创造虚拟劳动力，承担需要适应性和敏捷性的复杂任务，即“智能自动化”，以区别于传统的自动化解决方案；
对现有劳动力和实物资产进行有利的补充和提升，提高资本效率；
人工智能的普及，将推动多行业的相关创新，开辟崭新的经济增长空间。

给决策制定者和商业领袖的建议：

超越自动化，开启新创新模式：利用具有自主学习和自我控制能力的动态机器智能，为企业创造新商机；
迎接新一代信息技术，迎接人工智能：无缝整合人类智慧与机器智能，重新
评估未来的知识和技能类型；
制定道德规范：切实为人工智能生态系统制定道德准则，并在智能机器的开
发过程中确定更加明晰的标准和最佳实践；
重视再分配效应：对人工智能可能带来的冲击做好准备，制定战略帮助面临
较高失业风险的人群；
开发数字化+智能化企业所需新能力：员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说，创造兼具包容性和多样性的文化也非常重要。

子曰：“君子和而不同，小人同而不和。” 《论语·子路》云计算、大数据、物联网、区块链和人工智能，像君子一般融合，一起体现科技就是生产力。

如果说上一次哥伦布地理大发现，拓展的是人类的物理空间。那么这一次地理大发现，拓展的就是人们的数字空间。在数学空间，建立新的商业文明，从而发现新的创富模式，为人类社会带来新的财富空间。云计算，大数据、物联网和区块链，是进入这个数字空间的船，而人工智能就是那船上的帆，哥伦布之帆！

新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革，深刻改变人类生产生活方式和思维模式，实现社会生产力的整体跃升。