【斯坦福&Google】面向机器人的机器学习，63页PPT

机器人在社会上有很多应用，比如今年双十一我们明显感到快递变得更快了！这背后就有分拣机器人的功劳~ 除此之外，机器人在搜救，太空探索，手术等很多方面都有应用。而为了让机器人能够更好地服务于人类，让机器模仿人的行为，并变得更加智能必不可少。

来自斯坦福与Google Research的Chelsea Finn为我们介绍了面向机器人的机器学习。

《Machine Learning for Robots》教程的内容

• 基本知识与模仿学习：物体分类是一个监督学习的任务，处理的是独立同分布的数据，因此能够取得较好的结果。但是物体生产是一个序列决策任务，决策会影响到下一步的状态。模仿学习又称“行为克隆”，它很简单，但是需要人类的监督信息，并且天花板就是人类。并且，由于它的错误是累积的，可能每一步差之毫厘，最终结果就会失之千里。

• 基于模型的强化学习:基于模型的强化学习有几种实现方式。1. 随机采样，动态训练，优点是简单，但是缺点也很明显，会遇到分布不匹配的问题。2. 迭代地采样，逐步优化模型。优点是解决了分布不匹配的问题。3. 使用MPC迭代的采样，优点是对小的模型的错误鲁棒，缺点是计算复杂。

• 输入为图片的基于模型的强化学习:如果反馈信号为高维数据（如图片）时，基于模型的强化学习主要有两种方案：在隐空间学习，即学习反馈信号的表示，然后在隐空间做基于模型的强化学习（基于概率的方法、结构化方法（空间或者以物体为中心的结构化表示））；直接在观察空间学习：使用深度学习，预测可能得到的反馈信号（视频），再与实际的反馈信号相比，最小化。

• 机器人学习的一些挑战：理解和转化一些复杂的命令；新环境的适应性；收集大量数据并从中学习。

PPT下载链接：https://pan.baidu.com/s/1-zqrWBUrXCVMrj0d3EPTkQ 提取码：4jta