个性化文档推荐系统的目标是为用户提供一个快速的快捷方式来访问他们接下来可能想要访问的文档,通常还会解释推荐文档的原因。以前的工作探讨了不同领域更好的推荐和解释的各种方法。但是,很少有人仔细研究用户对文档推荐场景中的推荐项的反应。我们在最大的云文档平台office.com上对用户的交互行为进行了大规模的日志研究,并给出了可解释的建议。我们的分析揭示了许多因素,包括显示位置、文件类型、作者、最后访问的最近时间,以及最重要的,与用户是否会识别或打开推荐文档相关的推荐说明。另外,我们专门针对解释进行了在线实验,考察不同解释对用户行为的影响。我们的分析表明,这些建议可以帮助用户更快地访问他们的文档,但有时用户会错过某个建议,并求助于其他更复杂的方法来打开文档。我们的结果提供了改进解释的机会,更广泛地说,提供和解释文档建议的系统的设计也提供了改进的机会。