现有机器学习技术得以成功的背后往往依赖充足的标记数据。然而,充足标记数据的获取非常困难,因为现实任务中数据标记的速度往往赶不上数据产生的速度。弱监督学习(不依赖充足标记数据的机器学习框架)[1]更为贴近现实任务,但也更为困难。
弱监督学习研究主要围绕各种特定弱监督数据信号开展[1]。例如,半监督学习旨在研究监督信息不完整(Incomplete)的数据;噪声标记学习旨在研究监督信息不准确(Inaccurate)的数据;多示例学习旨在研究监督信息不具体(Inexact)的数据等。南京大学LAMDA团队常年来对弱监督学习相关技术瓶颈开展基础研究,提出了具有性能保障的安全半/弱监督学习、自动半监督学习等工作[2][3]。
随着弱监督学习不断走向实际应用,单纯的弱监督学习技术已越来越难于满足现实任务的需求。其原因之一在于,往常的弱监督学习技术仅适合一种弱监督数据信号,类似于某药方(弱监督学习技术)仅适用于某特定病症(弱监督数据信号)。然而,现实任务的数据同时伴随着多种弱监督数据信号时有发生,类似于多种病症常伴随出现。能够协同处理多种病症的复合弱监督学习(Compound Weakly Supervised Learning)技术非常必要。然而,该方面鲜有相关基础研究工作,也包括结合实际业务数据的应用案例剖析,亟待开展研究。
本文基于滴滴智能司乘评价的实际业务场景,展示复合弱监督学习的必要性和实际效用。具体而言,业务背景情况如下:随着移动互联网颠覆性变革,网约车不断发展普及,已进入人们日常生活。滴滴作为领先的一站式移动出行平台,深刻影响着人们的出行和生活方式。为尽可能地提升用户体验、建设良好的司乘生态,网约车智能司乘评价体系起着至关重要的作用,需兼顾乘客体验、司机接单公平性与平台效能。在智能评价体系中,每个乘客乘车结束后手机端都会收到一个推荐的评价问题,如“司机是否绕路?”。如果该回答能够很好的反映出此次行程的不足,那将有助于平台对司机进行教育,以提高用户的体验。借助机器学习来进行评价问题推荐就是智能评价体系的主要目标。然而,这其中存在两个严重影响机器学习性能的数据问题,一是数据存在严重的标记噪声,因为评价结果往往受到乘客主观因素的影响,导致收集到的标记不准确,同时也存在着大量误操作和乘客随意评价的情况;二是数据标记分布存在偏差,即训练数据中差评与好评数据的标记分布和真实线上环境的标记分布存在明显的差距。围绕这类实际数据问题,需要发展复合弱监督学习技术。本文提出的复合弱监督学习技术明显优于单纯弱监督学习技术,可将AUC性能提升5%以上。