计算所网络数据实验室5篇论文被ACL2018、IJCAI-ECAI 2018录用

    

     ACL是自然语言处理领域的顶级会议，被CCF评为A类会议，每年举办一次。第56届国际计算语言学学会年会ACL2018将于2018年7月15日至20日在澳大利亚墨尔本举行。本届会议共收到1544篇投稿（长文1018篇，短文526篇），录取文章384篇（长文258篇，短文126篇），约占投稿总量的24.9%。

    IJCAI是人工智能领域的顶级会议，被CCF评为A类会议，以前每两年举办一次，2016年起改为每年举办一次。第27届人工智能国际会议和第23届人工智能欧洲会议IJCAI-ECAI 2018将于2018年7月13日至19日在瑞典斯德哥尔摩举行。本届会议共收到3470篇长文投稿，其中710篇被录取，约占投稿总量的19%。

    中科院计算所网络数据科学与技术重点实验室5篇论文被ACL 2018和IJCAI-ECAI2018会议录用，涉及对话生成、文档表示、兴趣点推荐、强化学习等领域。下面是论文列表及介绍：

• Learning to Control the Specificity inNeural Response Generation

作者：张儒清，郭嘉丰，范意兴，兰艳艳，徐君，程学旗

会议：ACL2018长文

    本文着眼于闲聊对话生成领域，解决生成回复多样性问题。我们认为，不同的“utterance-response”之间包含不同的具体化（specificity）关系，应用一个单模型学习这种具体化关系会导致模型偏向生成高频且宽泛的回复。在日常对话中，人们通常会在不同的情景（用户心情，话题内容、会话对象等）下给出不同具体化程度的回复。例如，针对熟悉或喜欢的对话内容，人们通常会给出详细具体的回复；反之，对于陌生或是不感兴趣的内容，人们倾向于给出普通宽泛的回复。在本文中，我们引入了显式的具体化控制变量，利用该变量建模不同“utterance-response”之间的具体化映射关系；同时提出了可控的回复生成机制，指导模型生成不同具体化程度下的回复。自动评测和人工评测结果说明了我们的模型不仅可以生成普通或者详细的回复，相对基准模型也具有明显的优势。

 

• Tailored Sequence to Sequence Models toDifferent Conversation Scenarios

作者：张海楠、兰艳艳、郭嘉丰、徐君、程学旗

会议：ACL2018 长文

     Sequence to Sequence(Seq2Seq)模型已经广泛应用于对话领域，但是不同的对话场景应该使用不同的生成策略。例如客服回复需要尽可能的具体和准确，但是对话机器人需要生成多样的回复。然而采用平均策略的传统的Seq2Seq不能满足这样的需求，容易生成通用回复，例如‘我不知道’，‘这个是什么意思啊’。因此本文主要针对开放领域的单轮对话生成，提出了两种优化策略的改进，使得对话生成可以适用于不同的对话场景：specific-requirement的对话场景和diverse-requirement的对话场景。（1）如果需要生成具体的回复，就需要设计出post和responses重要度匹配的模型。简单地，我们可以采用条件概率下最大生成似然（MGL）作为重要度的依据，通过softmax计算出每个训练样本的重要程度，对重要度高的样本进行着重训练。在Ubuntu数据集（Ubuntu服务场景）上的实验结果表明，无论是在自动评测还是人工评测，在MGL策略下均可以生成更具体、更高质量的回复。（2）如果需要系统尽可能回答不同的回复，即便给定相同的post，我们也希望系统能够有回复不同response的能力，以便吸引不同的用户兴趣。那么我们可以引入了金融领域的条件风险价值模型（CVaR），通过对bad cases进行着重优化，使得条件生成概率尽可能在同一水平，因此beam-search解码出来的话题会有所不同，实现多样的生成回复。在中文微博数据（STC2）上的实验结果表明，无论是在自动评测还是人工评测，CVaR均可以生成更多样的、更高质量的回复。

 

 

• Document Embedding Enhanced Event Detectionwith Hierarchical and Supervised Attention

作者：赵越、靳小龙、王元卓、程学旗

会议：ACL2018 短文

    相同的单词在不同语境中可表达不同的事件类型，因此在句子级别的事件检测任务中，文档级信息是十分重要的。在本文中，我们提出了一种新的基于双向RNN的文档表示增强模型，称为DEEB-RNN，用于检测句子中的事件。该模型首先学习面向事件检测的文档表达，通过带监督的基于注意力机制的RNN，分层地关注句子中包含的触发词和包含非空事件类型的句子，然后使用学习的文档表达来增强另一个双向RNN模型，从而增强事件触发词识别及分类的效果。同时，我们针对文档表达设计了不同的监督策略。通过在标准事件抽取数据集ACE-2005上的实验，验证了我们提出的DEEB-RNN模型能有效捕捉文档级别的事件相关的信息，从而辅助提高句子级事件检测的性能。

 

• Exploring POI-specific geographicalinfluence for Point-of-Interest Recommendation

作者：王昊、沈华伟、欧阳文涛、程学旗

会议：IJCAI2018 长文

    兴趣点（Point-of-Interest，简称POI）推荐问题是基于位置的社交网络中的重要问题，它旨在为用户个性化地推荐感兴趣的地点（POI），因此，由用户和POI的地理位置带来的影响将在该推荐问题中发挥关键的作用。然而，现有方法着重于建模一种POI之间全局化的地理影响，即认为POI之间的地理影响只与其二者之间的距离有关（距离越小影响越大），而忽略了所涉及的POI是什么。经过实例验证，我们发现，这种认识是有缺陷的。实际上，POI之间的地理影响，与所涉及的POI是什么密切关联，比如，地铁站往往比一般的POI更具影响力。为此，在本文中，为了提升POI推荐的效果，我们提出了建模POI个性化的地理影响力的方法，称为GeoIE。具体地，我们结合两个方面的内容：首先我们采用基于距离的衰减函数（比如，幂函数）来模拟距离的影响；其次，为了体现POI的个性化，我们为每个POI设计了两个向量表达，即地理影响力和易感性，并以发出影响的POI的影响力向量和受到影响的POI的易感性向量的内积来描述地理影响的个性化。最后，我们在Foursquare和Gowalla两个真实数据集上进行了实验，发现我们的方法在POI推荐问题的效果上，相比现有方法有显著提升。

• Reinforcing Coherence for Sequence toSequence Model in Dialogue Generation

作者：张海楠、兰艳艳、郭嘉丰、徐君、程学旗

会议：IJCAI2018 长文

    近年来，Sequence to Sequence(Seq2Seq)模型在对话领域引起了广泛关注，但是它有一个至关重要的问题就是它极易生成通用回复，缺乏具体的信息，例如‘我不知道啊’，‘这是什么意思啊’。我们分析主要原因是Seq2Seq的优化策略等价于优化KL距离，因此Seq2Seq不惩罚那些生成概率很高但是实际概率很低的句子。然而真实概率是未知的，因此解决这个问题可以从建模真实概率的分布进行。通过实验分析，我们发现post和response的相似度与人工对response的评价成正比（去除了post和response相同的情况），因此我们假设真实概率分布可以通过post和response的相关度分数（例如相似度）进行建模。这个相关度分数可以作为奖赏，应用强化学习框架进行优化，惩罚那些生成概率很高但是真实概率很低的句子。我们提出了三种不同的相关度分数：未学习的评分、预训练的语义匹配模型评分和端到端对偶学习模型的评分。在中文微博数据集（STC2）和英文电影字幕（OpenSubtitile）数据集上，实验表明我们提出的模型可以生成更具体、更有含义的回复，无论在自动评测还是人工评测，都获得了更好的性能。