机器学习能帮助数据库系统突破性能瓶颈吗？

2019 年 9 月 17 日 计算机研究与发展

机器学习化数据库系统研究综述

机器学习和数据库作为两种截然不同的技术呈现出不断结合的趋势。一方面来说，个人和企业的业务场景表现出对机器学习技术日益迫切的需求，其趋势表现在各类机器学习平台的快速发展，但机器学习的专业性很强，要充分发挥其作用，需要大量资金和训练有素的工程团队。事实上，在机器学习系统中，真正的机器学习代码只占很小一部分，大部分工作都消耗在环境配置、参数调优等工作上。机器学习系统设计是可以从传统数据库研究中获取新灵感的，如何实现机器学习算法如SQL般易用和具备可解释性是面临的新挑战。从另一方面说，最近硬件技术得以快速发展，但更多的集中计算部件，如众核处理系统、高性能的协处理器、GPU处理器和机器学习处理器等，这些新型硬件对于加速机器学习技术尤为有效，然而传统数据库技术是典型访存密集型的，如何有效地结合机器学习方法进一步优化数据管理系统提出了新的挑战。

数据库系统经过近50年的发展，虽然已经普遍商用，但随着大数据时代的到来，数据库系统在2个方面面临挑战.首先数据量持续增大期望单个查询任务具有更快的处理速度；其次查询负载的快速变化及其多样性使得基于DBA经验的数据库配置和查询优化偏好不能实时地调整为最佳运行时状态.

而数据库系统的性能优化进入瓶颈期，优化空间收窄，进一步优化只能依托新的硬件加速器来实现，传统的数据库系统不能够有效利用现代的硬件加速器；数据库系统具有成百个可调参数，面对工作负载频繁变化，大量繁琐的参数配置已经超出DBA的能力，这使得数据库系统面对快速而又多样性的变化缺乏实时响应能力.

当下机器学习技术恰好同时符合这2个条件：应用现代加速器以及从众多参数调节经验中学习.机器学习化数据库系统将机器学习技术引入到数据库系统设计中.一方面将顺序扫描转化为计算模型，从而能够利用现代硬件加速平台；另一方面将DBA的经验转化为预测模型，从而使得数据库系统更加智能地动态适应工作负载的快速多样性变化.

本文对机器学习化数据库系统当前的研究工作进行总结与归纳，主要包括存储管理、查询优化的机器学习化研究以及自动化的数据库管理系统.在对已有技术分析的基础上，指出了机器学习化数据库系统的未来研究方向及可能面临的问题与挑战.

孟小峰,马超红,杨晨. 机器学习化数据库系统研究综述[J]. 计算机研究与发展, 2019, 56(9): 1803-1820.
Meng Xiaofeng, Ma Chaohong, Yang Chen. Survey on Machine Learning for Database Systems. Journal of Computer Research and Development, 2019, 56(9): 1803-1820