【人工智能】使用强化学习在复杂应用中运用人工智能、应重视“生成对抗网络”技术

会员服务 ·

【人工智能】使用强化学习在复杂应用中运用人工智能、应重视“生成对抗网络”技术

2019 年 12 月 7 日 产业智能官

使用强化学习，在复杂应用中运用人工智能

MathWorks MATLAB

近期，有不少报道强化学习算法在 GO、Dota 2 和 Starcraft 2 等一系列游戏中打败了专业玩家的新闻。强化学习是一种机器学习类型，能够在电子游戏、机器人、自动驾驶等复杂应用中运用人工智能。

在状态和动作空间较大、环境信息不完善并且短期动作的长期回报不确定的游戏中，这些程序可以找出最佳动作。

不只是游戏王者，强化学习作为机器学习的一个分支，在真实系统设计中，它能帮助您针对复杂系统（如机器人和自主系统）实现控制器和决策系统。

借助深度强化学习，您可以实现深度神经网络，这类网络运用通过仿真模型动态生成的数据进行训练，从而学习复杂行为。您只需准备一个仿真模型来表示您正在与之交互并尝试控制的环境，而无需提供标注或者未标注的预定义训练数据集。

MATLAB 和 Simulink 支持设计和部署基于强化学习的控制器的整套工作流。您可以：

通过简单的控制系统、自主系统和机器人示例，初步了解强化学习
在常见强化学习算法间快速切换并加以评估和比较，只需对代码稍加改动即可实现
使用深度神经网络，根据图像、视频和传感器数据定义复杂强化学习策略
使用本地核心或云并行运行多个仿真，加速完成策略训练
将强化学习控制器部署到嵌入式设备

◆ ◆ ◆ ◆

强化学习智能体（agent）

强化学习智能体由策略和算法构成，策略用于执行从输入状态到输出动作的映射，算法负责更新策略。常见算法包括深度 Q 网络、Actor-Critic 和深度确定性策略梯度。算法会更新策略，使之最大化环境提供的长期奖励信号。

策略可通过深度神经网络、多项式或查找表进行表达。然后，您可以将内置智能体和自定义智能体作为 MATLAB 对象或 Simulink 模块加以实现。

在 MATLAB 和 Simulink 中进行环境建模

强化学习算法训练是一个动态过程，因为智能体需要与周边环境进行交互。

对于机器人和自主系统等应用形式，在真实环境中使用实际硬件开展此类训练不仅代价高昂，还可能面临危险。正因如此，人们倾向于采用通过仿真生成数据的虚拟环境模型来开展强化学习。

您可以在 MATLAB 和 Simulink 中构建环境模型，以此描述系统动态、智能体的行动对系统动态产生的影响，以及用于评估所采取行动优度的奖励。这些模型在本质上可以是连续的或者离散的，可以采用不同的保真度来表示系统。

此外，您也可以通过并行仿真来加快训练。在某些情况下，您还可以重用现有的 MATLAB 和 Simulink 系统模型，只需稍加改动即可将其用于强化学习。

应重视“生成对抗网络”技术

作者：罗玲、李民

10月7日，国外一家杂志发表文章，披露和分析了人工智能、机器学习及人脸交换技术目前的发展情况和武器化后给国家安全带来的挑战。文中提到，某人工智能实验室利用“生成对抗网络”技术，能实现仅用一张图片即可替代源视频文件中的图像，之前需要成千上万张图片实现的源视频处理过程，现在不超过16张图片就可完成。研究人员利用该算法技术，通过脸部标志性特征，识别眼睛、嘴和下巴的运动。当这些运动被网络获取和理解后，即可以逼真的方式叠放生成新图片，识别出被“换脸”者的面部信息。

“生成对抗网络”，是人工智能领域知名专家古德费洛在2014年提出来的一种生成式模型，主要采用对抗思想和深度学习的模式来生成数据。“生成对抗网络”实际上是由两个神经网络组成，即生成器和鉴别器。生成器通过接受输入的内容，不断生成某一样本，而鉴别器则随着时间的推移越来越详尽地告知生成器怎样修正。或者我们也可以这样去理解，生成器不断尝试创建新样本，鉴别器尽可能地确定样本是否真实。双方在训练过程中都不断优化自己，直至达到平衡——双方都无法再变得更好，也就是假样本与真样本完全不可区分。

近年来，“生成对抗网络”技术在不断“进化”，已从传统的计算机视觉向其他方向扩展，在对抗样本、数据增广、迁移学习和创造智能等方面都展现出了巨大潜力，已成为深度学习与人工智能技术的新热点。

该技术在军事领域也展现出广阔的应用前景。在模拟仿真方面，可将仿真图像转换为真实风格的图像，模拟真实的光照和天气条件，由二维图像生成物体的三维模型等，从而构建各种逼真的虚拟作战环境。在信息对抗方面，该技术可用于语音和语言处理，生成对话并由文本生成图像，提高语义分割的精度等。在网络安全方面，该技术能够主动生成具有对抗性的病毒代码样本，攻击黑盒病毒检测模型，有利于提高反病毒软件的性能，还可用于密码破解等。

新技术孕育新机遇，也必将带来新挑战。“生成对抗网络”技术的不断发展，必将对军事指挥控制、武器装备、作战方式等带来深远影响。我们应紧盯前沿、密切跟踪该技术最新发展成果，特别是要重视在军事领域的应用研究，正确把握战争形态变化、预判军事科技的突破方向，切实加强安全防护，防止因“技术代差”造成被动甚至难以预料的后果。

来源：中国军网

先进制造业+工业互联网

产业智能官 AI-CPS

加入知识星球“产业智能研究院”：先进制造业OT（自动化+机器人+工艺+精益）和工业互联网IT（云计算+大数据+物联网+区块链+人工智能）产业智能化技术深度融合，在场景中构建“状态感知-实时分析-自主决策-精准执行-学习提升”的产业智能化平台；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。

产业智能化平台作为第四次工业革命的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎；重构设计、生产、物流、服务等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生 新技术、新产品、新产业、新业态和新模式； 引发经济结构重大变革，深刻改变人类生产生活方式和思维模式，实现社会生产力的整体跃升。

产业智能化技术分支用来的今天，制造业者必须了解如何将“智能技术”全面渗入整个公司、产品、业务等商业场景中， 利用工业互联网形成数字化、网络化和智能化力量，实现行业的重新布局、企业的重新构建和焕然新生。