AI之(神经网络+深度学习)

2018 年 5 月 31 日 七月在线实验室

目前的人工智能,或者说以深度学习为代表的一些方法论的研究,更像是古代的炼金术,而不像是现代的化学。



没想到吧,高大上的AI(人工智能)核心技术基础 ——机器学习,其实模仿的是人类学习的套路:模型+内容(数据)+……

 

作为一名创业者或者投资人,你该了解的机器学习常识是怎样的?世界顶尖AI学者邢波教授给出了系统的解答。


目前的人工智能,或者说以深度学习为代表的一些方法论的研究,更像是古代的炼金术,而不像是现代的化学。 

—— 邢波


20年前,当我刚进入这个领域的时候,人工智能还处在谷底,是一个比较冷门的、不被重视的状态。那个时候,这个专业叫 ——机器学习。


这是人工智能的核心技术基础。


事实上,我更喜欢这个名字,因为它把“人”这个词给去掉了,免除了很多不必要的误解。


我就是用一台计算机或者一种设备,来学习某一种能力,这个能力是人的能力,还是其他的能力,并不重要,从而使得这个工作本身更加稳健和专注。



什么是机器学习?

P、T、E



人在学习什么东西呢?


人的学习可能要更高级一点,它其实包含了对环境变化所做的预测,甚至是预测后面的规则,是人所感兴趣并希望学到的。


比如说我们对自然科学知识的学习,就包括了学习它的法则、流程或者语法这些不同的规则,这些都是我们从数据或者从知识环境里面,可以获得的一些学习的套路。


学多了以后,你就会发现,有时候就变成机械化,你不想,就可以反应了。


同样的道理,机器学习的定义是这样的 ——它关注的是怎么能够建立一个通过体验,自动提升自己功能的计算体系或者计算系统。这个计算系统能够通过跟环境交互的体验,自动提升自己的能力。



再详细点说,机器学习的计算系统,包括三样东西:


P就是性能(performance),机器学习非常重要的一件事儿就是性能,就是“好不好”。


T就是任务(task),到底是做什么事。


E就是体验(experience),实际上就是数据或者是获得数据的过程。



接下来的一个关键问题是,机器学习实际上是怎样发生的?


基本上来说,机器学习的流程需要三大因素:



一个是要有“环境”,环境里面有数据,数据里面包括了音频、视觉、行为等各种各样的数据,还包括了体验;


然后就是“感知”(learning),实际上是把这些数据形式化、抽象化,然后再了解里面的关联,甚至了解里面的一些因果关系。数据的表征里面能够获得对于预测的应对关系;


最后,学完了以后就需要来做“决策”。


决策的本质就是在一个特征空间里面做边界的划分。



✦ 举个例子,如何区分南方人和北方人?


由于时代的变迁,如果仅从饮食习惯、外形和身材等维度去区分,不是很容易,但如果增加一个维度或者边界,比如说个北京话绕口令,这个问题就容易解决了。


整个过程的完成,通常无法依靠数学解析,而需要使用适当算法实现一个递归循环的过程,不断地迭代以后希望它能够收敛。


为什么说“希望”收敛呢?在很多情况下,依据数学方程的形式和决策,试了很多次还是收敛不了,那这种情况下就只能看运气了。


所以,选择用什么样的方程,选择最有效的决策,使用什么算法,甚至在什么计算设备上实现,实际上对于机器学习的最后结果的质量是有很大的关系的。


作为一个研发人员,需要具备比较充分的理论知识,才能在算法或者方案不太灵光的时候能够有足够的知识储备找出替代方案,所以知识体系很重要。


怎么实现机器学习?


掌握4个要点,拥有更强的实战能力


实现机器学习的手段相当丰富。所以,一个成熟的工程师和研发人员,只有具备系统地结构化的知识储备,才能有更强的实战能力。


所以,在长期教授机器学习的过程中,我有意识地把机器学习的手段,进行了分类,就好比一个书架,把每不同的书给放在不同的层里面。


简单讲,是这样的:



① 起点,即选择“目标方程”。


举个例子,假设要培养小孩,有人会要他上私校、弹钢琴、学数学、参加奥赛……这就是所谓的优化小孩能力的算法。


那最终目的是什么呢?


这个最后想要达到的结果就叫“目标方程”,比如说这个方程最后是小孩考上了大学,或者成为一个成功的企业家。


② 结构


模型本身,变量之间,有不同的架构和关联。


③ 限制


这个模型是可以在无边界的情况下自由选择?还是只在一个空间里,做有限的选择?


有时候,“限制”是好事,可操作性强一点。但有时候,也会损失很多机会。


比如送小孩儿上学,需要选学区,还有价格的考量,这些都是限制。


④ 算法


用哪种方法论来实现“目标方程”?包括不同的数学技巧,就好比培养人,是让他学琴还是学数学,来达到育人的目的。


⑤ 停止条件


什么时候该停下来呢?


比如说,是直到小孩考上哈佛才停下来,还是到了30岁就停下来?


总之,你不能永远地训练下去,需要有一个跟价值或者跟回报相关的停止条件。


怎么实现机器学习?我们再来用“神经网络+深度学习”来说明一下。


它的起点非常非常朴素 ——人工神经元,神经网络就是好几个神经元变成了一个网络。



✦ 什么是人工神经元?


在人的大脑里,有一个元件叫神经元,它是一个细胞,包含了细胞核、突触。经过神经学的研究,发现突触实际上就像导线一样,可以跟其他的神经元产生接触,获得信号。而细胞核实际上是一个激活机制,当信号强度达到一个比较高的水平以后,它的离子开关就被打开了,这样可以产生一个电击的信号。


后来,人们用数学的方式,模仿生成了一个有类似功能的组件,即人工神经元。


到了工程层面,可以把抽象的数学描述变得更具体化、可操作化。



比如有3个自变量(年龄、性别、阶段)的输入。然后它可以进入下一个神经元,在进入的过程中它其实可以被加权,这叫权重。


中间是隐含层,输出还没看到的部分。


最后还有一个所谓的阀门函数。


比如这个函数是一个生存概率,它健康还是不健康,这就是一个函数。可以把整个的过程当成一个F,自变量就是X,结果就是Y,但这个F是用了一个多级的组合加权重加域值的方法来定义的F,是一套组合动作,而不只是一个简单的方程,就不是一个简单的线性边界了。


你看,就这一个神经网络模型,就把感知和决策都放进去了。


所以,深度神经网络并不神秘,这个深度神经网络里面有很多很多层,根据经验来决定到底多少层是最好的。


总之,深度学习整个的设计,大致是模仿了很多人、动物,或者是一个能够想象的、靠谱的神经系统对于物体的认知过程。


转载自  小电呼机器人(公众号)
作    者  木易

《机器学习集训营 第五期》开始报名,BAT级工业项目实战辅导 + 一对一面试求职辅导,并提供一年GPU云实验平台免费使用;北京、上海、深圳、广州、杭州、沈阳、济南、郑州、成都、武汉、西安十一城同步开营,点击“阅读原文”试听


登录查看更多
0

相关内容

邢波(Eric Xing)是卡耐基梅隆大学教授,曾于2014年担任国际机器学习大会(ICML)主席。
最新!Yann Lecun 纽约大学Spring2020深度学习课程,附PPT下载
MATLAB玩转深度学习?新书「MATLAB Deep Learning」162页pdf
专知会员服务
98+阅读 · 2020年1月13日
复旦大学邱锡鹏老师《神经网络与深度学习》书册最新版
神经网络与深度学习,复旦大学邱锡鹏老师
专知会员服务
116+阅读 · 2019年9月24日
【深度学习】深度学习的问题究竟在哪?
产业智能官
4+阅读 · 2019年8月30日
吴恩达《ML Yearning》| 端到端的深度学习
人工智能前沿讲习班
7+阅读 · 2018年9月27日
BP神经网络
Datartisan数据工匠
5+阅读 · 2018年8月9日
机器学习必知的8大神经网络架构
七月在线实验室
7+阅读 · 2018年4月26日
【机器学习】机器学习和深度学习概念入门
产业智能官
11+阅读 · 2018年1月3日
TensorFlow神经网络教程
Python程序员
4+阅读 · 2017年12月4日
【深度学习】神经网络和深度学习简史
产业智能官
8+阅读 · 2017年11月16日
【深度学习】给初学者的深度学习简介
产业智能官
8+阅读 · 2017年10月17日
推荐|斯坦福大学机器学习:神经网络的表示!
全球人工智能
5+阅读 · 2017年9月20日
Position-aware Graph Neural Networks
Arxiv
15+阅读 · 2019年6月11日
Adaptive Neural Trees
Arxiv
4+阅读 · 2018年12月10日
Arxiv
23+阅读 · 2018年10月1日
Arxiv
4+阅读 · 2018年9月11日
Learning to Focus when Ranking Answers
Arxiv
5+阅读 · 2018年8月8日
Arxiv
11+阅读 · 2018年5月13日
Arxiv
21+阅读 · 2018年2月14日
VIP会员
相关资讯
【深度学习】深度学习的问题究竟在哪?
产业智能官
4+阅读 · 2019年8月30日
吴恩达《ML Yearning》| 端到端的深度学习
人工智能前沿讲习班
7+阅读 · 2018年9月27日
BP神经网络
Datartisan数据工匠
5+阅读 · 2018年8月9日
机器学习必知的8大神经网络架构
七月在线实验室
7+阅读 · 2018年4月26日
【机器学习】机器学习和深度学习概念入门
产业智能官
11+阅读 · 2018年1月3日
TensorFlow神经网络教程
Python程序员
4+阅读 · 2017年12月4日
【深度学习】神经网络和深度学习简史
产业智能官
8+阅读 · 2017年11月16日
【深度学习】给初学者的深度学习简介
产业智能官
8+阅读 · 2017年10月17日
推荐|斯坦福大学机器学习:神经网络的表示!
全球人工智能
5+阅读 · 2017年9月20日
相关论文
Position-aware Graph Neural Networks
Arxiv
15+阅读 · 2019年6月11日
Adaptive Neural Trees
Arxiv
4+阅读 · 2018年12月10日
Arxiv
23+阅读 · 2018年10月1日
Arxiv
4+阅读 · 2018年9月11日
Learning to Focus when Ranking Answers
Arxiv
5+阅读 · 2018年8月8日
Arxiv
11+阅读 · 2018年5月13日
Arxiv
21+阅读 · 2018年2月14日
Top
微信扫码咨询专知VIP会员