【TPAMI2021】基于知识锚点进化的AutoML

转载机器之心

来源：深度赋智

「深度赋智」首推以知识驱动的全自动机器学习架构，应用于2020年4月结束的国际自动机器学习领域的顶级赛事 NeurIPS-AutoDL竞赛，并获得冠军，相关论文于近日被人工智能顶刊IEEE TPAMI接收。本文对此文章进行了深度解读。 

2020 年 4 月，深度赋智使用全自动机器学习框架获得了国际自动机器学习领域的顶级赛事 NeurIPS-AutoDL 的冠军，并在图像、音频、视频、文本、表格不同场景的十个数据集上稳定获得八项第一和均分第一，证明了该框架在不同场景的普适性。

 

竞赛得分情况。

近日，深度赋智与厦门大学纪荣嵘教授联合团队发表的论文「基于知识锚点进化的全自动机器学习」被人工智能顶刊 IEEE TPAMI 录用。本文对此论文核心内容进行了详细解读。值得一提的是，深度赋智已将该成果应用于天机自动机器学习平台，致力于让每家企业都能够开箱即用。 

论文链接：https://ieeexplore.ieee.org/abstract/document/9388886

困局

深度学习让机器可以从大量的数据中学习经验并加以应用，已经在图像分类、序列标注等多个任务上取得了惊人的成果。但是，这一过程需要大量的人工干预：特征提取、模型选择、参数调节等，既费时又费力。

所以专家们自然而然想到了引入自动化让机器自己“学习如何学习”。然而机器学习的自动化离不开几个关键难题：教授什么知识和配备什么工具？在哪一部分实现自动化？自动化训练如何保证稳定的效果？如何在最短时间内找到又简单又高效的方案？

论文指出，当前的自动机器学习多是在整个流程中的某个或某几个独立分段实现自动化，这种 “半自动” 让搜索自然受限于 “次优” 并导致最终结果的偏差。而且搜索空间往往“精心设计”，与自动学习的初衷相违背，实际落地时也易出现过拟合的情况。很显然，自动机器学习需要对网络结构有更高一级的理解能力。

 

破局

首先，论文的作者提出了基于终身知识锚点的进化算法。而其中极富创新性的全自动机器学习框架，首次打破了现有自动机器学习中各搜索空间的独立设计，并使用数据集知识锚点加进化算法来加速搜索，解决了在超大空间搜索最优方案的设计难题。  

 全自动机器学习框架。

承袭现有的终身学习与元学习思想，该框架中的知识锚点使用了全新的元特征和概率抽样方法，缓解了搜索过程中的过拟合。不仅如此，框架还实现了全流程自动化，极大降低了机器学习应用门槛。用户只需根据提示进行操作，无须了解算法和代码，时间成本很低。 

从实验结果可以发现，该框架在图像、音频、视频、文本、表格五种模态的典型数据集上的效果都远超当前 SOTA 方案，以下图的图像任务实验为例： 

 

提出的框架（左）和 AutoCV2 实验结果（右）的对比。

消融实验也证明了知识锚点方法的有效性：

  “各搜索方法 + 知识锚点”与原搜索方法的效果对比。

价值

深度赋智已将该成果应用于其自研的天机自动机器学习平台，支持图像、音频、视频、文本、表格模态的任务和多个复杂 AI 场景，并计划向自动学习中引入更多数据集知识，提升搜索效率。 

 

搜索空间设计示意。

而天机自动机器学习平台是深度赋智产业智能化的前沿创新技术应用之一，已为零售、鞋服、工业、交易平台、金融等行业的多个头部客户提供了相应服务。

在天机自动机器学习平台的帮助下，无需花费高额的成本打造工程师团队，即可有效避免 AI 应用成本高、周期长、效果难以保障等问题，降低时间成本和机会成本，助力企业走上智能化快车道，提升综合竞争力。

在使用体验上，用户无需深入掌握数据知识，就能建立高质量的人工智能模型；无需深入学习编程知识，就能建立整套生产级人工智能应用。平台从数据、模型、部署等多个方面进行了打磨，通过自动机器学习技术进行组件的衔接与调优，将复杂方案定制的成本降低到 1%，并克服了传统 AI 产品的落地周期长、效果迭代久、投入产出比低的瓶颈，为用户实现了超过 60% 的人力成本节约和显著的净利率提升。   

全自动 AI 中台 = AI 中台 + Full-AutoML。

2021 年 1 月，工信部印发《工业互联网创新发展行动计划（2021-2023 年）》指出，要进一步完善新型基础设施、彰显融合应用成效、提升技术创新能力、健全产业发展生态和增强安全保障能力。智能化制造和个性化定制等新模式新业态的广泛普及是融合应用成效的关键，智能化成为 “新三年” 的核心工作目标。 

人工智能行业即将迎来政策红利大年，充满新的产业图景、新的机遇和挑战 。目前「深度赋智」已经汇聚了国内外高校顶尖人才，行内资深研究员、架构师，以 SaaS 产品提供端到端 AI 服务，具有丰富的行业赋能经验，在 2B/2C 领域均有千亿级数据的复杂 AI 场景定制与落地案例。在未来一段时间，将会充分发挥自己丰富的算法资源、深度的技术合作支持、不断完善的生态资源等优势，不断完善 MetaAI 技术，持续建设全自动机器学习平台，与更多开发者、服务商一起面向终端客户推出更多的 AI 解决方案。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“EFAML” 就可以获取《【TPAMI2021】基于知识锚点进化的AutoML》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源