最近,吴恩达的斯坦福团队发布了一个叫做CheXpert的大型数据集,论文中选了AAAI 2019。
它包含了224,316张标注好的胸部X光片,以及放射科医师为每张胸片写的病理报告。
虽然,像从前NIH发布的ChestX-ray14数据集那样,CheXpert也是根据医师的报告,自动标注肺水肿、心脏肥大等各种病症的;
但团队说,新的数据集更适合做Benchmark,因为测试集上的标签,是经过 (持证上岗的) 放射科医师验证的标签。
团队便是用这个数据集做Benchmark,举行了一场5种疾病的识别比赛。
这22万张胸片,都是2002年10月到2017年7月之间,斯坦福医院做过的X光检查,来自65,240个就诊的人类。
每张胸片有14个标签要贴,其中12个,是表明患者是否存在心脏肥大 (Cardiomegaly) 、肺部病变 (Lung Lesion) 等12种疾病特征。
另外两个标签,一个是无发现 (No Finding) ,另一个是辅助器具 (Support Devices) 。
14个标签,都分为阴 (Negative) 、阳 (Positive) 以及不确定 (Uncertain) 这三种选项。
因为,并不是所有问题,都能从胸片上得到确定的答案。如果不能做出明确的判断,就不可以贸然输出阴或阳。
有了14个标签要贴,吴恩达团队开发了一种自动贴标签的算法:从医师每张胸片做的报告文本里,找到和每个标签相对应的信息。
算法分三步:
一是提取文中提及的信息 (Mention Extraction) ,得出一个列表;
二是为提及的信息做分类 (Mention Classification) ,分成阴、阳、不确定这三类;
三是把提及的信息聚合起来 (Mention Aggregation) ,得出最终结论,标注完成。
团队已经把标注工具开源了:
https://github.com/stanfordmlgroup/chexpert-labeler
数据集要成为合格的Benchmark,测试集给的标准答案就要有说服力。
团队找到8位持证的放射科医师,让他们独立去标注500张胸片的测试集。然后,把5位医师给出的主流答案作为Ground Truth;至于,另外3位医师的答案,后面有其他用途。
这样一来,各路诊断模型都可以在一个相对有效的标准之下接受评估。
对比一下,从前的ChestX-Ray14数据集里,测试集是自动标注,并没有经过人类医师的鉴定。团队认为,CheXpert更加适合做Benchmark。
既然提供了新的Benchmark,就可以拿来比赛。
吴恩达老师发推宣布,一场疾病识别比赛已经开始了,欢迎大家带着自己的模型去参加。
比赛内容涉及5种疾病的识别:
· 肺不张 (Atelectasis)
· 心脏肥大 (Cardiomegaly)
· 肺实变 (Consolidation)
· 肺水肿 (Edema)
· 胸腔积液 (Pleural Effusion)
为了鼓励小伙伴们前去参与,团队祭出了自家模型里成绩最好的一只:
用500张胸片的测试集来比,这个模型在心脏肥大、肺水肿以及胸腔积液这三项上,超越了前面提到的“另外3位人类医师”。
若以粗暴的五局三胜为规则,AI已经赢了。
有兴趣的同学,可以去试试看自己的模型能不能超越斯坦福的AI。数据集和参赛方法都在这里啦:
CheXpert数据集传送门:
https://stanfordmlgroup.github.io/competitions/chexpert/
(注册一下,就会收到下载链接)
CheXpert论文 (AAAI 2019) 传送门:
https://arxiv.org/pdf/1901.07031.pdf
比赛参加方法传送门:
https://worksheets.codalab.org/worksheets/0x693b0063ee504702b21f94ffb2d99c6d/
作者系网易新闻·网易号“各有态度”签约作者
— 完 —
2018中国人工智能领航企业
加入社群
量子位AI社群开始招募啦,欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“交流群”,获取入群方式;
此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。
进专业群请在量子位公众号(QbitAI)对话界面回复关键字“专业群”,获取入群方式。(专业群审核较严,敬请谅解)
诚挚招聘
量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「好看」吧 !