In pre-market drug safety review, grouping related adverse event terms into standardised MedDRA queries or the FDA Office of New Drugs Custom Medical Queries (OCMQs) is critical for signal detection. We present a novel quantitative artificial intelligence system that understands and processes medical terminology and automatically retrieves relevant MedDRA Preferred Terms (PTs) for a given input query, ranking them by a relevance score using multi-criteria statistical methods. The system (SafeTerm) embeds medical query terms and MedDRA PTs in a multidimensional vector space, then applies cosine similarity and extreme-value clustering to generate a ranked list of PTs. Validation was conducted against the FDA OCMQ v3.0 (104 queries), restricted to valid MedDRA PTs. Precision, recall and F1 were computed across similarity-thresholds. High recall (>95%) is achieved at moderate thresholds. Higher thresholds improve precision (up to 86%). The optimal threshold (~0.70 - 0.75) yielded recall ~50% and precision ~33%. Narrow-term PT subsets performed similarly but required slightly higher similarity thresholds. The SafeTerm AI-driven system provides a viable supplementary method for automated MedDRA query generation. A similarity threshold of ~0.60 is recommended initially, with increased thresholds for refined term selection.


翻译:在上市前药物安全性评估中,将相关不良事件术语归类为标准化的MedDRA查询或美国食品药品监督管理局新药办公室定制医学查询(OCMQs)对信号检测至关重要。本文提出一种新型定量人工智能系统,该系统能理解并处理医学术语,通过多准则统计方法自动检索给定输入查询相关的MedDRA首选术语(PTs),并依据相关性评分进行排序。该系统(SafeTerm)将医学查询术语和MedDRA PTs嵌入多维向量空间,随后应用余弦相似度和极值聚类生成排序后的PT列表。验证工作基于FDA OCMQ v3.0(104项查询)进行,并限定于有效的MedDRA PTs。通过计算不同相似度阈值下的精确率、召回率和F1分数进行评估。在中等阈值下可实现高召回率(>95%)。提高阈值可提升精确率(最高达86%)。最优阈值(约0.70-0.75)对应的召回率约50%,精确率约33%。窄义PT子集表现相似但需要稍高的相似度阈值。SafeTerm人工智能驱动系统为自动化MedDRA查询生成提供了可行的补充方法。建议初始采用约0.60的相似度阈值,并在精细化术语选择时提高阈值。

0
下载
关闭预览

相关内容

论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
Mask R-CNN 论文笔记
统计学习与视觉计算组
11+阅读 · 2018年3月22日
论文笔记 | How NOT To Evaluate Your Dialogue System
科技创新与创业
13+阅读 · 2017年12月23日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关资讯
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
Mask R-CNN 论文笔记
统计学习与视觉计算组
11+阅读 · 2018年3月22日
论文笔记 | How NOT To Evaluate Your Dialogue System
科技创新与创业
13+阅读 · 2017年12月23日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员