深度学习通过自动化关键任务并实现超越人类的准确度,已在多行业引发革命性变革。然而,这些优势主要依赖部署于云端的巨型神经网络,其能耗惊人。本论文提出两类新型框架与算法,将深度学习模型部署边界拓展至微型边缘设备——此类设备通常在计算资源有限且环境噪声复杂的场景下运行:
(1)高效边缘AI新框架。开发了通过滤波器剪枝与高效网络设计降低推理成本的方法。CUP框架提出层级滤波器聚类剪枝技术实现模型压缩与加速;CMP-NAS框架构建视觉搜索系统,优化小型边缘模型与大型服务器模型协同工作,在保持高精度前提下实现80倍计算成本削减。
(2)鲁棒边缘AI新方法。开发了在降低推理成本同时增强现实噪声鲁棒性的技术。REST框架扩展剪枝应用范围,使网络效率提升9倍、运行速度加快6倍,且具备对抗高斯噪声与对抗样本的鲁棒性;HAR方法将多分支神经网络的早期退出机制扩展至训练阶段,在类别不平衡最优精度,同时节省20%推理算力;IMB-NAS框架通过超网络适配策略优化不平衡数据集的神经架构,相较从头搜索节省5倍计算资源。
研究成果对工业界与社会产生重大影响:CMP-NAS技术支撑时尚与面部检索服务的边缘部署案例,在亚马逊公司内部向数千名研发人员展示;REST技术通过手机实现居家睡眠监测功能,获多家新闻媒体重点报道。