【普林斯顿博士论文】真实世界机器学习应用中的人机协作，133页pdf

像机器学习这样的自动化工具在我们的大数据世界中是必不可少的。由于互联网以及计算机和存储技术在各个方面的进步，几乎每个人都在互联网连接的世界中拥有发言权。然而，在我们的物理世界中仍然有非常真实的物理限制。这种二分法——看似无限的技术使数据与现实世界的物理极限发生碰撞——使得自动化工具成为必要，而由机器学习算法驱动的预测模型就是这样一种工具。机器学习对准确预测未来人类行为和人类偏好的承诺，促使从业人员和研究人员将机器学习自动化工具应用于产品推荐等任务和长期求职成功等投机性活动。然而，由于人类善变的本性，开发数学中介来试图建模和预测人类行为是具有挑战性的，并不是一项简单的任务。利用机器学习支持的自动化的力量，在更具挑战性的领域中帮助减少许多现实世界应用程序的规模的一种方法是让人类和机器以非平凡的方式合作。本文描述了人类和机器在具有挑战性的现实世界应用中合作的各种方式。强调了在实际环境中使用这些系统时，可以使用人机协作来保持或增加效用并减少现实世界的伤害的三种具体方法**:(i)人类使计算机具有特定领域知识，(ii)计算机为人类提供算法解释，(iii)人类和计算机在决策中共同工作**。论文结构如下:第2章:本章展示了第一种人机协作模式——人类使计算机具有特定领域的知识——如何在平均成绩点预测任务中增加机器学习模型的效用。脆弱家庭挑战(Fragile Families Challenge)是一项大规模协作的社会科学数据挑战，其目的是了解各种幼儿期变量如何预测儿童的远期结局。我们描述了应对脆弱家庭挑战的两步方法。在第1步中，我们使用各种全自动方法来预测儿童的学业成绩。我们拟合了124个模型，其中包括8种模型类型、2种填补策略、2种标准化方法和2种自动变量选择技术的最可能组合，使用2个不同的阈值。然后，在步骤2中，我们试图在步骤1的基础上改进步骤1的结果，在详细审查码本的基础上进行手动变量选择。通过对学生成功文献的全面回顾，我们手动选择了3694个被认为可以预测学业成绩的变量，以指导决策过程。使用手动选择的变量重新估计步骤1中的最佳模型。人工变量选择改善了步骤1中前10个模型中的大多数，但没有改善前10个中最好的模型。结果表明，在大多数情况下，受社会科学方法启发的变量选择可以显著提高完全自动训练的模型。**第3章:本章展示了第二种人机协作模式——计算机为人类提供算法解释——如何提高机器学习模型在电影推荐任务中的效用并减少其危害。**在一个电影推荐任务上评估了两种流行的局部可解释性技术，LIME和SHAP。发现这两种方法的表现非常不同，这取决于数据集的稀疏性。LIME在数据集的密集段上比SHAP做得更好，而SHAP在稀疏段上做得更好。将这种差异追溯到LIME和SHAP基础估计量的不同偏差-方差特征。与LIME相比，SHAP在数据的稀疏段中表现出更低的方差。将这种较低的方差归因于SHAP固有的完整性约束属性和LIME中的缺失。该约束作为正则化项，因此增加了SHAP估计器的偏差，但降低了其方差，从而导致有利的偏差-方差权衡，特别是在高稀疏性数据设置中。有了这种见解，将相同的约束引入到LIME中，制定了一种新的局部可解释性框架，称为完整性约束LIME (CLIMB)，优于LIME，比SHAP快得多。**第4章:本章展示了第二种人机协作模式的第二个例子——计算机为人类提供算法解释。**在通过各种方法生成不透明的机器学习模型的局部解释时，遇到了评估解释并确定最佳解释的问题。评估模型预测的解释有两个组成部分，解释对不透明模型的忠实性和人类对解释的易用性。本文旨在开发定量的方法，来评估在解释最先进的电影推荐模型时局部解释的忠实度。本文提出根据局部解释和不透明模型之间的近似误差来定量评估忠实度。本文表明，这种近似误差可以最小化，以获得一种新的局部解释技术。与局部可解释性研究中采用的公理化方法相比，提出的近似误差是一种直观的方法来推理局部解释方法的行为。因此，我们使用提出的近似误差来比较广泛使用的局部解释方法对不透明模型的忠实度/保真度。最后，为了便于人类理解组件，描述了不同的方式来呈现解释模型的结果，即通过在变换特征空间中优化相同的近似误差来简化特征输入。**第5章:本章展示了第三种人机协作模式——人类和计算机在决策中一起工作——如何在保持效用的同时降低机器学习模型在图像个性化任务中的危害。**个性化是大多数web服务应用程序的组成部分，它决定了向每个成员显示哪些体验。在工业个性化系统中使用的一个流行的算法框架是上下文盗匪，它试图在存在随观察到的成员的上下文特征而变化的治疗效果的情况下学习个性化的治疗分配策略。为了保持优化任务的可处理性，这样的系统可以短视地做出独立的个性化决策，这些决策可以在成员与Web服务交互的集合中共同创建次优的体验。本文设计了一系列新的在线学习算法，从个性化中受益，同时优化了许多独立决策的总体影响。所提出方法选择性地在任何上下文无关的bandit算法和任何上下文无关的多臂bandit算法之间进行插值，并仅在上下文信息有望比没有考虑它的决策获得显著收益的情况下，才利用上下文信息进行治疗决策。除了帮助个性化系统的用户感觉不那么有针对性外，通过有选择地依赖上下文来简化治疗分配策略，可以帮助提高学习速率。在几个数据集上评估了所提出方法，包括一个视频订阅web服务，并展示了这种混合策略的好处。第6章: 在本章中，我们描述了人类和机器在脆弱家庭挑战和推荐系统等具有挑战性的现实世界应用中合作的各种方式。在本文中，我们讨论了上述两种情况下人机协作的三种具体模式。然而，在对提交给脆弱家庭挑战(Fragile Families Challenge)的全套17篇研究论文进行文献综述和对现有推荐系统研究论文进行文献综述后，我们能够更全面地了解人类和机器在这些环境中合作的各种方式。