AI 如何赋能摄像机？这场沙龙为你解锁“软件定义”新概念

2020 年 11 月 29 日 InfoQ

在数字经济的发展中，数据基础设施将发挥关键支撑作用，机器视觉是数据基础设施非常重要的一环。当前 65% 的行业数字化信息来自视频，可见机器视觉与生活、娱乐、通信、生产、安全的深度结合下，一个千亿美元的巨型市场正在缓缓浮出水面。在此背景下，AI 赋能机器视觉无疑将会加快这一进程。在此过程中，开发者和企业如何把握住发展先机？这场沙龙为你解锁答案。

11 月 28 日，华为机器视觉与 InfoQ 联合举办的 DevRun 开发者沙龙华为机器视觉技术公开课 - 成都专场，在成都人才综合服务中心·逐梦厅成功举办。活动现场，华为机器视觉多位资深技术专家从实践出发，就摄像机 App 开发、摄像机 AI 模型转换与精度分析、摄像机 AI 模型部署与推理等几个维度展开深度分享，为现场开发者们解读更多算法开发实践以及软件定义摄像机的特点和功能。除了精彩的主题分享外，华为机器视觉的各位专家还与参会者一同进行了在线实操。

图 / 现场合影

1 解锁软件定义摄像机概念，如何轻松玩转摄像机 App 开发？

活动伊始，华为机器视觉 SDC OS 架构师陈伟带来了两大主题演讲。在《探索·软件定义摄像机》演讲中，陈伟向大家解读了软件定义摄像机的概念及背景。他表示，SDC（Software-Defined Camera）是为了满足复杂场景的需求而诞生的，在此需求下，摄像机从单一功能的终端变成了多应用聚合的平台，华为也由此提出了“软件定义”的理念。

图 / 陈伟

陈伟表示，在硬件定义时代，降低制造的复杂度和成本是关键目的，但随着灵活性、自动化、多样化、个性化定制的需求日益增长，由软件来操控硬件资源的情况将越来越多、越来越广。智能化时代下，软件定义将成为摄像机未来发展的主要方向。

他进一步解释道，相较传统摄像机因软硬件绑定而产生的应用局限性，华为首创的软件定义摄像机理念，明确三大核心标准暨拥有专业 AI 芯片、开放的摄像机 OS、开放的算法和应用生态，采用智能算法与硬件底座分离的设计理念，在硬件底座算力充足的情况，通过对摄像机前端算法的不断在线迭代与自主学习实现一次硬件投资、全生命周期内算法可持续增长。

在接下来的《轻松玩转摄像机 App 开发》主题演讲中，陈伟更加深入地向与会开发者展示了摄像机 App 开发的相关知识点。他首先阐述了软件定义摄像机的软件架构设计理念，在端侧产品中大量引用了微服务设计理念，以此实现了软硬件之间、软件和业务特性之间以及应用之间的解耦，通过微服务来按需加载和任意组合，从而提供多种可能。此外，他还就 SDC OS 服务化接口消息规范、SDC App 开发和发布流程等几个方面进行了相关讲解。

演讲最后，陈伟以 Demo 演示进行了软件定义摄像机软件应用的安装和配置讲解，包括对代码量级的展示，助力开发者快速将理论知识转化为实践技能。他表示，大趋势下，华为也在不断丰富自身产品，面向不同的行业、不同的算法性能要求，提供丰富的产品供开发者基于硬件做软件开发，他呼吁开发者能够加入华为软件定义摄像机生态大军中，共同进步和成长。

2 解密摄像机 AI 模型转换与精度分析，落地摄像机 AI 模型部署与推理实践

就开发者感兴趣的摄像机 AI 模型转换与精度分析、AI 模型部署的相关问题，华为机器视觉智能算法专家刘琳在接下来的两场演讲中也一一作了分析和解读。

图 / 刘琳

刘老师首先进行了《摄像机 AI 模型转换与精度分析》的主题分享。她认为在三大特性——软硬件解耦、在线按需加载、持续迭代演进的加持下，软件定义摄像机将承载无限可能。随后她从模型训练、模型转换（量化）、模型部署，以及其支持的网络结构在标准层、扩展层、其它层的模型转换方式和参数配置等几个方面，向现场开发者解读了软件定义摄像机 AI 算法开发流程。

就开发者关心的精度损失问题，她也做了详尽分析，在模型的优化层面给出了一些建议。在预处理方式问题上，她提出可采用轻量级网络、模型剪枝技术，减少模型计算量；在量化误差问题的处理中，可将每层参数配置与硬件匹配 Channel 数尽量和 4 对齐，width 数最好和 16 对齐；在层匹配问题上，可通过 inplace 方式将 Conv 后接 BN 层、RelU 层；在后处理问题上，Eltwise / Softmax / Reshape / Permute / Upsample 等层最好使用 NNIE 的实现方式，以此提高 NNIE 利用率。

在《摄像机 AI 模型部署与推理实践》的主题演讲中，刘老师对 SDC App 程序处理流程、SDC 模型转换和 App 开发基本问题排查方法等维度进行了解读分享。在 SDC App 程序处理流程中，如果要实现算法 App，则需要关注加载模型、卸载模型，然后做向前处理和订阅 YUV 数据，使用这四个服务就可以实现 App 的主体流程。

针对 App 开发基本问题如何排查这一问题，刘老师提出 5 步排查法，从 CaffeModel 、模型使用网络层、Caffe 、Blob 、模型输出等 5 个维度进行问题排查。此外，她还从实践出发，向现场开发者解答了如何应对掉点、漏检、误检、精度下降等问题。

3 如何加入华为机器视觉开发者社区？

随后，华为机器视觉开发者社区运营经理谭义鑫从社区论坛、生态开放实验室、赋能培训、职业认证及开发者活动五个方面详细介绍了华为机器视觉开发者社区。作为一个知识分享与技术交流平台，华为机器视觉开发者社区包含论坛、博客、云学院、在线赋能、技术支持等板块，开发者可以在社区中进行资料查找、技术交流、问题求助，还可以参加社区举办的培训赋能活动，共同携手推进机器视觉行业的未开发展。

图 / 谭义鑫

此外，机器视觉开发者社区中还包括生态开放实验室，目前在杭州、北京、成都、深圳等地均有布局，实验室具备低门槛、使用便捷、可在线申请、设备多样化等几大特色，提供包括 HoloSens IVS3800、HoloSens IVS1800、HoloSens SDC 等多种机器视觉相关产品，为开发者“0”成本创新做底层支撑。同时社区还会为开发者提供职业认证，包含 HCIA、HCIP、HCIE 三种等级，分别对应工程师、高级工程师和专家级别，成就开发者的技术能力进阶。

活动最后的大咖面对面环节中，现场开发者与华为的专家就机器视觉的相关问题展开讨论，共同探索软件定义摄像机的未来发展方向，现场学习氛围异常高涨。

图 / 现场讨论