Medical research generates a large number of publications with the PubMed database already containing >35 million research articles. Integration of the knowledge scattered across this large body of literature could provide key insights into physiological mechanisms and disease processes leading to novel medical interventions. However, it is a great challenge for researchers to utilize this information in full since the scale and complexity of the data greatly surpasses human processing abilities. This becomes especially problematic in cases of extreme urgency like the COVID-19 pandemic. Automated text mining can help extract and connect information from the large body of medical research articles. The first step in text mining is typically the identification of specific classes of keywords (e.g., all protein or disease names), so called Named Entity Recognition (NER). Here we present an end-to-end pipeline for NER of typical entities found in medical research articles, including diseases, cells, chemicals, genes/proteins, and species. The pipeline can access and process large medical research article collections (PubMed, CORD-19) or raw text and incorporates a series of deep learning models fine-tuned on the HUNER corpora collection. In addition, the pipeline can perform dictionary-based NER related to COVID-19 and other medical topics. Users can also load their own NER models and dictionaries to include additional entities. The output consists of publication-ready ranked lists and graphs of detected entities and files containing the annotated texts. An associated script allows rapid inspection of the results for specific entities of interest. As model use cases, the pipeline was deployed on two collections of autophagy-related abstracts from PubMed and on the CORD19 dataset, a collection of 764 398 research article abstracts related to COVID-19.


翻译:医学研究产生了大量的出版物,PubMed数据库已经包含超过3500万篇研究文章。整合分散在这个庞大的文献体系中的知识可以提供对生理机制和导致新型医学干预的疾病过程的关键见解。但是,研究人员的挑战在于充分利用这些信息,因为数据的规模和复杂性大大超过了人类的处理能力,COVID-19疫情加剧了这一情况。自动文本挖掘可以帮助从大量医学研究文章中提取并连接信息。文本挖掘的第一步通常是识别特定类别的关键字(例如所有蛋白质或疾病名称),称为命名实体识别(NER)。在这里,我们介绍了一种端到端的NER流水线,用于医学研究文章中发现的典型实体,包括疾病、细胞、化学品、基因/蛋白质和物种。该流水线可以访问和处理大型医学研究文章集合(PubMed、CORD-19)或原始文本,并包括在HUNER语料库集合上微调的一系列深度学习模型。此外,该流水线可以执行与COVID-19和其他医学主题相关的基于字典的NER。用户可以加载自己的NER模型和字典,以包括其他实体。输出包括排名列表和检测到的实体图形以及包含带注释的文本的文件,相关脚本允许快速检查感兴趣的特定实体的结果。作为模型应用案例,该流水线已部署在PubMed的两个自噬相关摘要集合和CORD-19数据集上,后者是与COVID-19相关的764 398篇研究文章摘要的集合。

0
下载
关闭预览

相关内容

【电子书推荐】Data Science with Python and Dask
专知会员服务
43+阅读 · 2019年6月1日
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
基于PyTorch/TorchText的自然语言处理库
专知
28+阅读 · 2019年4月22日
一文读懂命名实体识别
人工智能头条
32+阅读 · 2019年3月29日
NLP - 基于 BERT 的中文命名实体识别(NER)
AINLP
466+阅读 · 2019年2月10日
命名实体识别(NER)综述
AI研习社
65+阅读 · 2019年1月30日
自然语言处理 | 使用Spacy 进行自然语言处理
机器学习和数学
18+阅读 · 2018年8月22日
命名实体识别从数据集到算法实现
专知
55+阅读 · 2018年6月28日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
4+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年6月1日
A Survey on Deep Learning for Named Entity Recognition
Arxiv
73+阅读 · 2018年12月22日
VIP会员
相关VIP内容
【电子书推荐】Data Science with Python and Dask
专知会员服务
43+阅读 · 2019年6月1日
相关资讯
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
4+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员