ACM TOIS | 图神经网络在智能医疗中的应用

一. 引言

近年来，电子病历的广泛使用为药品推荐等智能医疗服务提供了强有力的支持。然而，尽管药品间存在着多种多样的相互作用，如协同、拮抗等作用，现有的药品推荐工作往往忽略了这一点或只针对某一种药品相互作用进行建模。此外，大部分已有的工作往往将包推荐问题形式化为一个针对用户与包的个性化打分函数，然而，这样的判别式模型在实际应用中往往会受到限制。

为此，我们提出了一种基于策略梯度的药品包生成方法DPG，将药品包推荐形式化为序列生成问题。具体而言，我们首先根据已有的医学知识构建药品相互作用关系图，并设计了一种新的图神经网络来捕捉药品间的相互作用。随后，我们设计了一种基于循环神经网络的药品包生成器。我们利用深度强化学习方法对模型进行了训练，实验证实了我们方法的有效性。

本工作为研究组先前 WWW 2021工作的拓展版本，由中国科学技术大学、华为、 香港城市大学和腾讯联合完成。相关成果已被中国计算机学会推荐A类国际期刊ACM TOIS录用，论文信息如下：

论文标题：

Interaction-aware Drug Package Recommendation via Policy Gradient

期刊名称：

ACM Transactions on Information Systems (TOIS)

论文作者：

Zhi Zheng, Chao Wang, Tong Xu, Dazhong Shen, Penggang Qin, Xiangyu Zhao, Baoxing Huai, Xian Wu, and Enhong Chen.

二. 预备知识

2.1 数据描述

本文的电子病历数据集来自国内某大型三家医院电子病历数据库，如下图所示，每个条电子病历记录包括患者的基本信息、患者的化验结果、医生为患者给出的主诉文本，以及医生为患者所开的药品。

本文所使用的药品相互作用数据来自大型药品知识图谱DrugBank，其中给出了不同药品之间的相互作用效果。在领域专家的帮助下我们将其中的相互作用分为无相互作用、协同作用、拮抗作用三种。标注后的数据样例如下图所示。

2.2 形式化定义

对于病人   ，将其基本信息和化验结果合并为疾病文档   ，将其主诉文本通过截断和填充得到主诉文档   ，从而得到病人   的病人描述   。同时，对于病人   我们有其药品包   。对于药品相互作用数据，我们得到相互作用矩阵   ，其中0表示无相互作用，1表示协同作用，2表示拮抗作用，-1表示无相互作用。本文所提出的药品包推荐问题为：训练药品包生成器   ，给定其任一病人描述   ，可以生成最合适的一组药品   。

三. 技术细节

本部分将介绍我们所提出的模型细节。如下图所示，我们的框架主要由药品相互作用图上的图神经网络，病人表征模块和药品包生成器三部分构成。

3.1 药品相互作用图上的图神经网络

和传统推荐问题相比，药品包推荐的核心问题是如何捕捉药品间的相互作用。因此，我们首先提出了一种构造药品相互作用图的方法，进而提出了一种药品相互作用图上的图神经网络来解决此问题。

3.1.1 药品相互作用图构建

对于数据中所有的药品构成的集合   ，我们构建对应的药品相互作用图   ，其中每一个节点与对应的药品相关联，其表征即为对应药品表征。每一条边有着其对应的边表征。对于图的拓扑结构，即边的存在与否，我们进行如下定义：若两药品间相互作用出现于药品相互作用数据库，且关系类型不为无相互作用，则此边存在。根据此方式，我们即可得到药品相互作用关系图。

3.1.2 药品相互作用图上的图神经网络

我们采用信息传播神经网络（MPNN）框架构建药品相互作用图上的图神经网络。我们使用如下方式定义图神经网络中的信息传递，信息聚合和节点表征过程：

经过   层的信息传播后，我们可以得到节点表征   ，边表征   和多层感知机   。我们取最后一层图神经网络计算得到的节点表征作为药品表征，即   。为了方便说明，我们将在下文中使用   表示   ，使用   表示    。

3.1.3 边分类损失函数

为了利用药品相互作用类型信息，我们可以使用一个矩阵   来将边表征映射到一个概率分布向量。我们设计如下交叉熵损失函数使得边表征能够蕴含药品相互作用类型信息：

3.2 病人表征模块

给定一个病人描述   ，我们首先使用多层感知机提取疾病文档表征：

对于主诉文档，我们对其中的每一个词初始化一个词表征，进而使用GRU模型得到主诉文档的表征   。最终的病人表征即为二者的拼接：

此外，我们通过MLP模型和Sigmoid函数为每一个病人表征计算一个掩码向量：

掩码向量的每一位取值范围均为0~1，可以视为一种特征选择过程。

3.3 药品包生成

3.3.1 基于极大似然估计的药品包生成

给定一个病人描述   ，我们可以将药品包生成形式化为如下的序列生成问题:

为了将药品包生成问题转化为序列生成问题，我们首先对所有药品包中的药品按照出现频率进行排序。我们选择基于GRU的模型进行药品包生成，假设在时间步   ，我们的模型已经生成了一个药品序列   ，我们通过如下方式计算药品相互作用向量：

其中   表示逐元素相乘。基于此，DPG模型中的GRU单元在每个时间步的计算步骤可以如下表示：

此外，为了避免模型生成得到重复的药品，在每个时间步   ，我们基于如下方式进行采样：

其中   定义为：

最终，基于最大似然的损失函数可以如下定义：

其中   为   时间步的真实药品。

3.3.2 基于策略梯度的药品包生成

尽管极大似然法在序列生成问题中被广泛应用，这种方法却会受到序列排列顺序的影响。由于药品包是一个天然的无顺序集合，为了解决这一问题，我们提出了以下基于强化学习的方法来减少序列顺序对于结果的影响。在药品包生成问题中，我们要解决的问题是对以下期望reward进行优化：

其中   为随机采样生成的序列。为了减少序列顺序的影响，我们采取F1值这一顺序无关的评价指标作为强化学习中的reward，即：

我们采用基于策略梯度方法对模型进行训练，其梯度可以表示为：

此外，为了使得模型训练更加稳定，我们采用了基于SCST的自监督序列训练方法：

其中   为使用贪心搜索策略生成的基线药品包。最终，基于强化学习的训练损失可以表示为：

3.4 训练策略

我们提出首先使用极大似然法对模型进行预训练，随后使用策略梯度对模型进行精调的方法训练DPG模型，训练算法描述如下：

四. 实验结果

我们在开源数据集MIMIC-III和私有数据集APH上进行了实验，数据集的基本统计信息如下：

在这两个数据集上，我们首先将本文提出的两种方法与多种基准方法的推荐效果进行了对比，结果如下：

实验结果证实了本文提出方法的有效性。同时，我们还对模型的各个组件做了消融实验。结果显示本文所提出各个模块均对于最后的结果有提升作用。

END