视频分析大模型技术

导读随着人工智能和大数据技术的不断发展，海康威视凭借多年的技术积累和丰富的行业经验，逐步将大模型应用于各个行业，特别是在金融安防领域，海康通过观澜大模型实现了跨模态感知和自主学习能力。本文将分享海康威视在大模型视频分析方面的实践，主要包括以下几大部分：

背景介绍
整体架构设计
挑战与解决思路
未来展望分享嘉宾｜张海涛海康威视金融架构师,国际注册云安全系统认证专家编辑整理｜陈思永内容校对｜李瑶出品社区｜DataFun

背景介绍首先来介绍一下海康在大模型技术领域的发展历程。早在 2006 年，海康威视就开始组建算法团队，专注于智能算法的研究。2012 年，海康进一步拓展了深度学习领域的研究，逐步将其应用于多个业务场景，包括人脸识别、车牌识别、视频结构和行为分析等。通过对这些技术的深入探索，海康在智能安防和视频监控领域逐渐确立了技术领先地位。2018 年，海康发布了 AI 开放平台及相关白皮书，标志着海康正式进军大模型领域。该平台不仅为行业提供了基础算法，还涵盖了深度学习和大模型的最新研究成果，应用领域覆盖智慧城市、平安城市、公共安全和生产安全等多个方向。到 2021 年，海康的大模型逐渐步入行业应用阶段，重点发展多模态模型，将视觉、语言、语音等技术融合在一起，并逐步扩展至城市治理、电力、煤炭、水利等多个行业。通过整合这些感知技术，海康的行业大模型在智能化管理和分析上有了质的飞跃，为更多行业提供了智能解决方案。从 2022 年至今，海康利用更高级别的智能手段，不断对模型进行优化提升，助力多维数据联动，并参与了国家大模型相关标准的制定。海康的大模型取名为“观澜”，源于孟子“观水有术，必观其澜“的哲理思想，象征着通过大模型的深度感知与洞察来实现对世界的全面理解。观澜大模型从视觉大模型起步，并逐渐扩展至音频、雷达、X 光等多个感知领域，形成了丰富的多模态感知基础，以适应不同的行业需求。早期，海康基于海量数据预训练，构建了视觉大模型、音频大模型、语言大模型、多模态大模型等基础大模型。在此基础上又构建了行业大模型，广泛应用于电力、公路、煤矿、水利、零售、轨道、工业制造、城管、金融等各个行业。针对一些特定任务，又进行了模型微调，以满足具体应用场景的需求，如电力巡检、异常作业检测、交通事件检测、物料盘点、金融合规检测等。具体到金融行业，海康大模型主要应用于安防领域，涵盖人防、技防和物防三个方面。通过对银行网点内外的智能监控，实现了对人员行为的精确分析，如人员聚集、人员跌倒等。同时，大模型在金库和 ATM 加钞等场景中提供了高效的合规性监控，确保了金融资产的安全。通过大模型的持续训练和微调，海康大模型能够根据每个金融网点的环境特点进行个性化的优化，解决了传统安防技术在复杂环境下识别准确度低的问题。同时，大模型通过高度自动化的监控和管理手段，大幅降低了人力成本，为金融机构提供了更为智能化的安防解决方案。02****

整体架构设计

上图展示了常见的银行业务架构。海康大模型采用了云边结合的模式进行部署，以满足各类应用需求。边缘部署，如二级分行会部署一些小模型，在智能 NVR、智能分析服务器等边缘设备上，负责处理本地数据，并在局部范围内进行数据分析；到省级分行，则使用大模型，利用大模型具备的自学习能力，根据不同环境进行模型的调优与优化。云端部署，采用了海康云眸，设备产生的图片会上传到云上进行训练、推理，以资源共享的方式，再下发到设备。这里的速度会不如边缘部署那么快。云边结合方案为各行业提供了灵活的部署模式，既能够满足数据安全的需求，又能够有效控制企业的资源成本。在金融行业中，边缘设备可以在本地完成实时监控和风险识别，而云端则为全局数据提供更深入的分析，确保了金融业务的高效运转。海康观澜大模型的主要优势在于：

全面的感知能力：海康威视凭借其在物联网领域超过 20 年的技术积累，拥有丰富的数据资源，这为大模型的训练提供了坚实的基础。无论是在视觉感知、音频分析，还是其他模态数据处理上，海康的大模型都具备了全面的感知能力，能够应对复杂的行业需求。
丰富的行业经验：海康通过自主研发的微调技术，显著提升了大模型的实用性。特别是在复杂场景下，大模型通过高效的微调技术减少了误报率，提升了识别的准确性，确保了大模型的高效运行。
多样的部署方案：海康还通过自研的蒸馏技术，将大模型的知识迁移至边缘小模型，实现了大模型与小模型的联动。大模型在云端进行全局优化，而小模型在边缘设备上进行本地推理，从而在保证高效感知的同时，实现了资源的最优配置。

面向网点、金库、办公大楼、数据中心全场景，搭建了金融办公场所物联感知网络，并在此基础上打造了上层智慧应用，统一管理各类算法及算力资源，基于业务场景需求赋能AI 应用。通过对从业务调研、方案设计，到应用集成、维护迭代的全流程形成标准化的工程化服务体系，为海康观澜大模型落地提供了保障。03****

挑战与解决思路

在海康大模型落地的过程中，也遇到了诸多挑战，主要有以下几方面：

数据依赖性：人工智能技术的效果高度依赖于数据的质量与数量，如果缺乏足够的数据，大模型的学习与训练就难以实现。这对部分行业提出了数据积累的挑战，特别是在非传统领域，数据的获取与清洗是一个长期的过程。
传统深度学习的局限性：模型泛化能力不足，传统结构出现性能天花板，缺乏复杂推理与认知能力。
算力成本：大模型的训练需要大量的计算资源，带来了巨大的成本压力。针对这些挑战，海康通过技术创新与积累，不断提升模型效果，同时尽可能降低模型训练和部署的成本，使大模型得以在更多企业中落地应用。04****

未来展望

随着海康大模型技术的不断成熟，其在金融行业的应用也逐步深入。目前，国有银行和股份制银行已经陆续开始部署海康的大模型，未来这一技术将进一步推广至更多的金融机构。同时，海康也计划将大模型应用拓展到其他行业，推动各行业的智能化转型。无论是智慧城市的治理，还是工业生产的安全管理，海康的大模型都将在未来发挥至关重要的作用。以上就是本次分享的内容，谢谢大家。