机器学习和大数据的进步正在颠覆每个行业。然而,即使公司部署到生产中,他们也面临着巨大的挑战,随着时间的推移,性能会明显低于离线基准,这是一种被称为性能漂移的现象。由于数据分布的变化,在很长一段时间内部署的模型常常会经历性能漂移。
在这次演讲中,我们讨论了减轻性能漂移影响的方法,并举例说明了我们的方法在一个样本预测任务。利用我们在初创公司部署和监控生产级ML管道以进行预测性维护的经验,我们还解决了机器学习的几个方面,这些方面在学术界经常被忽视,比如整合非技术合作伙伴,以及将机器学习集成到敏捷框架中。这次演讲的内容包括:
使用Python、Dask和开源数据集演示一个在离线设置中训练和验证模型的示例,该模型在部署后会出现性能下降。
使用MLFlow、Prometheus和Grafana来展示如何构建工具来监视生产管道,并使不同涉众的团队能够使用正确的度量标准快速识别性能下降。
就何时在生产中对机器学习模型进行再训练提出一份标准清单。
这次演讲将是一个幻灯片演示,并附带一个Python笔记本演示。它的目标是在生产中部署和调试模型的工程师,但可能对构建基于机器学习的产品的人有更广泛的兴趣,并要求熟悉机器学习基础知识(训练/测试集,决策树)。
专知便捷查看
便捷下载,请关注专知公众号(点击上方蓝色专知关注)
后台回复“MLPU” 就可以获取《【UC伯克利Shreya Shankar】机器学习产品化》专知下载链接