题目主题: Dual Learning for Machine Learning

简介:

许多AI任务以双重形式出现,例如英语法语翻译与法语英语翻译,语音识别与语音合成,问题解答与问题生成,图像分类与图像生成。虽然结构对偶性在AI中很常见,但大多数学习算法并未在学习/推理中利用它。双重学习是一种新的学习框架,它利用AI任务的原始-双重结构来获取有效的反馈或正则化信号,从而增强学习/推理过程。双重学习已在不同的学习环境中进行了研究,并应用于不同的应用程序。 在本教程中,我们将对双重学习进行介绍,它由三部分组成。在第一部分中,我们将介绍双重半监督学习,并展示如何有效地一起利用标记和未标记的数据。我们将从神经机器翻译开始,然后转移到其他应用程序。在第二部分中,我们介绍了双重无监督学习,其中的培训是完全无监督的。我们介绍了无监督机器翻译和无监督图像翻译。最后,我们介绍了双重监督学习及其以外的内容,其中包括双重监督学习,双重推理和双重对抗性学习。在本教程的最后,我们提出了双重学习的几个未来方向。

作者介绍:

Tao Qin博士是Microsoft Research Asia机器学习小组的高级首席研究经理。 他的研究兴趣包括机器学习(侧重于深度学习和强化学习),人工智能(对语言理解和计算机视觉的应用),游戏理论和多主体系统(对云计算,在线和移动广告的应用, 电子商务),信息检索和计算广告。 他拥有清华大学的博士学位和学士学位。 他是ACM和IEEE的高级会员,也是中国科学技术大学的兼职教授(博士生导师)。

大纲:

  • 动机与介绍
  • 双重半监督学习
  • 双重无监督学习
  • 双重监督学习
  • 总结与展望
成为VIP会员查看完整内容
0
17

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

主题: Agile Machine Learning

摘要: 凝聚人才,打造一支伟大的应用型机器学习团队,是一项不小的壮举。由于开发人员和数据科学家都在各自领域贡献了专业知识,单靠通信就可能是一个挑战。敏捷机器学习教你如何通过敏捷过程交付优秀的数据产品,并通过例子学习如何在生产环境中组织和管理一个快速发展的团队,该团队面临着大规模解决新数据问题的挑战。作者的方法模拟了敏捷宣言中描述的开创性的工程原理。这本书提供了进一步的上下文,并将最初的原则与交付数据产品的系统的需求进行了对比。

作者简介: Eric Carter,Eric Carter曾在微软的Bing和Cortana团队担任合作伙伴团队工程经理。在这些角色中,他致力于围绕产品和评论、业务列表、电子邮件和日历的搜索功能。他目前在微软白板产品组上工作。

成为VIP会员查看完整内容
0
17

题目: Quantum Adversarial Machine Learning

摘要: 对抗性机器学习是一个新兴的研究领域,主要研究机器学习方法在对抗性环境中的脆弱性,并开发相应的技术,使学习对对抗性操作具有鲁棒性。它在各种机器学习应用中起着至关重要的作用,近年来引起了不同社区的极大关注。本文探讨了量子机器学习中不同的对抗情境。我们发现,与基于经典神经网络的传统分类器类似,量子学习系统同样容易受到精心设计的对抗性示例的攻击,而与输入数据是经典的还是量子的无关。特别是,我们发现,通过对原始合法样本添加不可察觉的扰动而获得的对抗性示例,可以最终欺骗达到接近最新精度的量子分类器。这在不同场景下的量子对抗学习中得到了明确的证明,包括对现实生活中的图像(如数据集MNIST中的手写数字图像)进行分类,对物质的学习阶段(如铁磁/顺磁有序和对称保护拓扑相)进行分类,以及对量子数据进行分类。此外,我们还指出,根据手头的对抗性例子的信息,可以设计出实用的防御策略来对抗多种不同的攻击。我们的研究结果揭示了量子机器学习系统对各种扰动的显著脆弱性,这不仅从理论上揭示了机器学习与量子物理学之间的联系,而且为基于近期和未来量子技术的量子分类器的实际应用提供了有价值的指导。

成为VIP会员查看完整内容
0
28

题目: Causal Inference and Stable Learning

简介:

在一个常见的机器学习问题中,使用一个根据训练数据集估计的模型,根据观察到的特征来预测未来的结果值。当测试数据和训练数据来自相同的分布时,许多学习算法被提出并证明是成功的。然而,对于给定的训练数据分布,性能最好的模型通常利用特征之间微妙的统计关系,这使得它们在应用于测试数据时更容易出现预测错误,因为测试数据的分布与训练数据的分布不同。对于学术研究和实际应用来说,如何建立稳定、可靠的学习模型是至关重要的。因果推理是一种强大的统计建模工具,用于解释和稳定的学习。因果推理是指基于某一效应发生的条件,对某一因果关系做出结论的过程。在本教程中,我们将重点讨论因果推理和稳定学习,旨在从观察数据中探索因果知识,以提高机器学习算法的可解释性和稳定性。首先,我们将介绍因果推理,并介绍一些最近的数据驱动的方法来估计因果效应的观测数据,特别是在高维设置。摘要为了弥补因果推理与机器学习在稳定学习上的差距,我们首先给出了学习算法的稳定性和鲁棒性的定义,然后介绍了一些最近出现的稳定学习算法,以提高预测的稳定性和可解释性。最后,我们将讨论稳定学习的应用和未来方向,并为稳定学习提供基准。

邀请嘉宾:

张潼,香港科技大学计算机科学与数学教授。此前,他是罗格斯大学(Rutgers university)教授,曾在IBM、雅虎(Yahoo)、百度和腾讯(Tencent)工作。张潼的研究兴趣包括机器学习算法和理论、大数据统计方法及其应用。他是ASA和IMS的研究员,曾在主要机器学习期刊的编委会和顶级机器学习会议的项目委员会任职。张潼在康奈尔大学获得数学和计算机科学学士学位,在斯坦福大学获得计算机科学博士学位。

崔鹏,清华大学计算机系长聘副教授,博士生导师。2010年于清华大学计算机系获得博士学位。研究兴趣包括社会动力学建模、大规模网络表征学习以及大数据驱动的因果推理和稳定预测。近5年在数据挖掘及人工智能领域高水平会议和期刊发表论文60余篇,曾5次获得顶级国际会议或期刊论文奖,并先后两次入选数据挖掘领域顶级国际会议KDD最佳论文专刊。目前担任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD等国际期刊编委。曾获得国家自然科学二等奖、教育部自然科学一等奖、电子学会自然科学一等奖、CCF-IEEE CS青年科学家奖、ACM中国新星奖。入选中组部万人计划青年拔尖人才,并当选中国科协全国委员会委员。

成为VIP会员查看完整内容
0
124

报告题目:

Deep Reinforcement Learning for Computer Vision

报告简介:

近年来,深度强化学习作为机器学习的基本技术之一得到了发展,并成功地应用于各种计算机视觉任务(表现出最先进的性能)。在本教程中,我们将概述深度强化学习技术的趋势,并讨论如何使用它们来提高各种计算机视觉任务的性能(解决计算机视觉中的各种问题)。首先,我们简要介绍了深度强化学习的基本概念,并指出了在不同的计算机视觉任务中所面临的主要挑战。其次,介绍了一些用于计算机视觉任务的深度强化学习技术及其种类:策略学习、注意感知学习、不可微优化和多智能体学习。第三,介绍了深度强化学习在计算机视觉不同领域的应用。最后,我们将讨论深度强化学习中的一些开放性问题,以说明未来如何进一步发展更先进的计算机视觉算法。

嘉宾介绍:

Jiwen Lu,副教授,中国清华大学,自动化系。清华大学自动化系副教授,2015.11-至今,新加坡高级数字科学中心研究科学家,2011.3-2015.11,2003.7-2007.7西安理工大学信息科学系助理讲师。

Liangliang Ren ,清华大学博士生,研究方向是计算机视觉与机器学习、度量学习与深度强化学习

成为VIP会员查看完整内容
0
47

教程题目:Adversarial Machine Learning

教程简介

近年来,机器学习在广泛的行业和应用领域得到了显著的普及。机器学习技术的许多应用本质上是对抗性的,因为其目标是将“坏的”实例与“好的”实例区分开来。事实上,对抗性的使用远远超出了这个简单的分类示例:对恶意软件的法医分析,包括集群、异常检测,甚至自动驾驶汽车上的视觉系统,都可能受到攻击。针对这些问题,出现了一个关于对抗性机器学习的新兴文献,它涵盖了对机器学习算法漏洞的分析,以及产生更健壮学习的算法技术。

本教程将从网络安全和机器学习研究领域中广泛调查这些问题和技术。特别考虑了对抗性分类器规避(攻击者改变行为以避免被检测到)和训练数据本身已损坏的问题。还讨论了逃避攻击和中毒攻击,首先讨论了分类器,然后讨论了其他学习范例和相关的防御技术。然后,我们考虑用于攻击和防御神经网络的专门技术,特别是专注于深度学习技术及其对逆向构建实例的脆弱性。

组织者:

Bo Li是伊利诺伊大学香槟分校计算机科学系的助理教授。她的研究兴趣在于对抗性的深度学习、安全性、隐私和博弈论。她开发并分析了可伸缩的健壮学习框架,用于在对抗规避攻击的环境中学习算法。她还分析了物理世界中对抗学习算法的行为。她是赛门铁克研究实验室研究生奖学金的获得者。她于2016年获得范德比尔特大学博士学位。

Dawn Song是加州大学伯克利分校电气工程和计算机科学系的教授。她的研究兴趣在于深度学习和安全性。她研究了计算机系统和网络中的各种安全和隐私问题,包括从软件安全、网络安全、数据库安全、分布式系统安全、应用密码学到机器学习和安全的交叉领域。她是获得各种奖项,包括麦克阿瑟奖学金,古根海姆奖学金,NSF事业奖,斯隆研究奖学金,麻省理工学院技术评论TR-35奖,乔治Tallman Ladd研究奖,小川基金会研究奖,李嘉诚基金会女性在科学卓越系列讲座奖,教师从IBM研究奖,谷歌和其他主要科技公司,从上会议最佳论文奖。她在加州大学伯克利分校获得了博士学位。在加入加州大学伯克利分校之前,她曾于2002年至2007年在卡内基梅隆大学(Carnegie Mellon University)担任助理教授。

Yevgeniy Vorobeychik是圣路易斯华盛顿大学计算机科学与工程学院的副教授。此前,他是桑迪亚国家实验室的首席研究科学家。2008年至2010年,他是宾夕法尼亚大学计算机与信息科学系的博士后研究员。他获得了密歇根大学的计算机科学与工程博士学位(2008)和硕士学位(2004),以及西北大学的计算机工程学士学位。他的工作重点是安全与隐私的博弈论建模,对抗机器学习,算法和行为博弈论和激励设计,优化,基于代理的建模,复杂系统,网络科学,流行病控制。Vorobeychik博士在2017年获得了美国国家科学基金会职业成就奖,并受邀发表了ijcai16早期职业聚焦演讲。他被提名为2008年ACM博士学位论文奖,并获得了2008年IFAAMAS杰出论文奖的荣誉奖。

教程ppt下载链接: 链接:https://pan.baidu.com/s/1YDWJ2lFhiLRtNDpH4YyZLg 提取码:ccra

成为VIP会员查看完整内容
0
23

主题: An Overview of the International Planning Competition

摘要: 本教程介绍了自然语言的深度贝叶斯和序列学习的进展,其应用广泛,从语音识别到文档摘要、文本分类、文本分割、信息提取、图片标题生成、句子生成、对话控制、情感分类,推荐系统,问答和机器翻译。传统上,“深度学习”被认为是一种基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的单词、句子、实体、动作和文档中的“语义结构”在数学逻辑或计算机程序中可能没有得到很好的表达或正确的优化。自然语言离散或连续潜变量模型中的“分布函数”在模型推理中可能无法正确分解或估计。本教程介绍了统计模型和神经网络的基本原理,重点介绍了一系列先进的贝叶斯模型和深层模型,包括分层Dirichlet过程、Chinese restaurant 过程、分层Pitman-Yor过程、Indian buffet过程、递归神经网络、长时短期记忆,序列到序列模型,变分自动编码,生成对抗网络,注意机制,记忆增强神经网络,随机神经网络,预测状态神经网络,策略梯度和强化学习。我们将介绍这些模型是如何连接的,以及它们为什么在自然语言中的符号和复杂模式的各种应用中起作用。为了解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚类与语言和语义约束相结合。本文提出了一系列的个案研究,以解决深度贝叶斯学习与理解中的不同问题。最后,我们将指出未来研究的一些方向和展望。

邀请嘉宾: Jen-Tzung Chien在台湾新竹国立清华大学取得电机工程博士学位。现任职于台湾新竹国立交通大学电子及电脑工程学系及电脑科学系讲座教授。2010年,他担任IBM沃森研究中心的客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。在2011年获得了IEEE自动语音识别和理解研讨会的最佳论文奖,并在2018年获得了AAPM Farrington Daniels奖。2015年,剑桥大学出版社出版《贝叶斯语音与语言处理》;2018年,学术出版社出版《源分离与机器学习》。他目前是IEEE信号处理技术委员会机器学习的当选成员。

成为VIP会员查看完整内容
0
58

教程题目:Learning from 3D (Point Cloud) Data

教程简介

在(3D)点云上学习对于自动驾驶、机器人感知、VR/AR、游戏和安全等广泛的新兴应用至关重要。由于激光雷达、3D相机和RGB-D等3D传感器的普及,这种需求最近有所增加。点云由成千上万个点组成,是对传统2D相机的补充。点云数据上的三维学习算法是一种全新的、令人兴奋的方法,可以解决三维分类、检测、语义分割和人脸识别等众多核心问题。本教程涵盖点云数据的需求、捕获数据的背景、3D表示、新兴应用程序、核心问题、最新的学习算法(例如,基于体素、基于点的算法等)和未来的研究机会。还将展示最近工作在几个三维基准,如ScanNet, KITTI等。

组织者:

徐宏民教授是一位活跃的研究人员,致力于大型图像/视频检索/挖掘、视觉识别和机器智能。他是国立台湾大学计算机科学与资讯工程学系的教授。他和他的团队获得了多媒体和计算机视觉研究领域的技术奖项,包括IBM research的Pat Goldberg Memorial最佳论文奖(2018),2017年ACM多媒体大会最佳新创意论文奖,IARPA变脸大赛第一名(CVPR 2018), 2011年ACM多媒体大挑战一等奖,2013/2014年度ACM多媒体大挑战多模态奖等。徐教授热衷于通过学术-产业合作和共同创办创业公司来实现对商业成果的先进研究。2014年,他是微软雷德蒙德研究院的访问科学家,2016-2017年,他在IBM TJ Watson研究中心休了一年的年假。他曾担任《IEEE视频技术电路与系统学报》(TCSVT)和《IEEE多媒体学报》(IEEE Multimedia Transactions on Video Technology)的副主编,并担任《IEEE多媒体杂志》(2010 - 2017)的编委。

成为VIP会员查看完整内容
0
20

题目: Multimodal Intelligence: Representation Learning, Information Fusion, and Applications

摘要: 自2010年以来,深度学习已经彻底改变了语音识别、图像识别和自然语言处理,每一项都涉及到输入信号中的单一模态。然而,人工智能中的许多应用都涉及到一种以上的模式。因此,研究跨多种模式的建模和学习这一更为困难和复杂的问题具有广泛的兴趣。本文对多模态智能的模型和学习方法进行了技术综述。视觉与自然语言的结合已成为计算机视觉和自然语言处理研究领域的一个重要课题。本文从学习多模态表示、多模态信号在不同层次的融合以及多模态应用三个新的角度,对多模态深度学习的最新研究成果进行了综合分析。在多模态表示学习中,我们回顾了嵌入的关键概念,它将多模态信号统一到同一向量空间中,从而实现跨模态信号处理。我们还回顾了为一般下游任务构造和学习的许多嵌入类型的特性。关于多模融合,本文着重介绍了用于集成特定任务的单模信号表示的特殊体系结构。在应用程序方面,涵盖了当前文献中广泛关注的选定领域,包括标题生成、文本到图像生成和可视化问题解答。我们相信,这项检讨有助于社区未来在新兴多模态情报领域的研究。

作者简介:

Zichao Yang (杨子超),他是芝加哥大学计算机科学系的博士生。他对机器学习、深度学习及其在计算机视觉、自然语言处理中的应用感兴趣。在到CMU之前,他获得了香港大学的硕士学位,上海交通大学的学士学位。他之前曾在谷歌DeepMind实习,与Chris Dyer和Phil Blunsom合作,MSR与He Xiaodong、Gao Jianfeng和Li Deng合作。 个人主页:http://www.cs.cmu.edu/~zichaoy/

Xiaodong He(何晓东)是华盛顿大学西雅图分校电气工程系的副教授。他也是微软研究中心的首席研究员,华盛顿州雷德蒙德。1996年获清华大学(北京)学士学位,1999年获中国科学院(北京)硕士学位,2003年获密苏里哥伦比亚大学博士学位。他的研究兴趣在于人工智能领域,包括深度学习、语音、自然语言、计算机视觉、信息检索和知识表示与管理。他撰写/合著了100多篇论文和一本书,并在ACL、CVPR、SIGIR、WWW、CIKM、NIPS、ICLR、IEEE TASLP、Proc上发表。IEEE、IEEE SPM等场馆。他和同事开发了MSR-NRC-SRI条目和MSR条目,分别在2008年NIST机器翻译评估和2011年IWSLT评估(中英文)中获得第一名,并开发了MSR图像字幕系统,在2015年的MS COCO字幕挑战赛中获得一等奖。他曾在多家IEEE期刊担任编辑职务,担任NAACL-HLT 2015地区主席,并在主要演讲和语言处理会议的组织委员会/项目委员会任职。他是IEEESLTC的当选成员,任期2015-2017年。他是IEEE高级成员,2016年IEEE西雅图分部主席。 个人主页:http://faculty.washington.edu/xiaohe/

Li Deng是一位经验丰富的首席执行官,在高科技行业有着丰富的工作经验。在人工智能、机器学习、数学建模、计算机科学、语音识别、自然语言处理、深度学习、神经网络、大数据分析、财务和统计建模等方面具有较强的技术、执行管理和业务开发专业技能。等

成为VIP会员查看完整内容
0
85

主题: Safe and Fair Machine Learning

简介:

在这个演讲将讨论一些我们的未来的工作在一个新的框架设计的机器学习算法,内容包括:1)使得算法的用户更容易定义他们认为是不受欢迎的行为(例如,他们认为是不公平的,不安全,或者成本);2)提供了一个高信任度保证它不会产生一个解决方案,展示了用户定义的不受欢迎的行为。

作者简介:

Philip Thomas是马萨诸塞大学安姆斯特分校信息与计算机科学学院助理教授,自主学习实验室联合主任。之前是卡内基·梅隆大学(CMU)的博士后,2015年,在马萨诸塞州立大学阿默斯特分校(UMass Amherst)获得了计算机科学博士学位。主要研究如何确保人工智能(AI)系统的安全性,重点是确保机器学习(ML)算法的安全性和公平性以及创建安全和实用的强化学习(RL)算法。

成为VIP会员查看完整内容
0
7

题目: Safe Machine Learning

简介:

随着我们将ML应用到越来越多的现实任务中,我们正在走向一个ML将在未来社会中扮演越来越重要角色。因此,解决安全问题正成为一个日益紧迫的问题。一般来说,我们可以将当前的安全研究分为三个领域:规范、健壮性和保证。规范关注于调查和开发技术,以减轻由于目标仅仅是期望的替代者而可能出现的系统不期望的行为。这种情况可能会发生,例如,当对包含历史偏差的数据集进行训练时,或者在真实环境中尝试度量增强学习智能体的进度时鲁棒性处理在推断新数据和响应敌对输入时处理系统故障。

Assurance涉及到开发方法,使我们能够理解本质上不透明和黑箱的系统,并在操作期间控制它们。本教程将概述这三个领域,特别关注规范,更具体地说,关注增强学习智能体的公平性和一致性。其目的是激发从事不同安全领域的研究人员之间的讨论。

邀请嘉宾:

Silvia Chiappa是DeepMind机器学习方面的研究科学家。她拥有数学文凭和机器学习博士学位。在加入DeepMind之前,Silvia Chiappa曾在马克斯-普朗克智能系统研究所的经验推理部门、微软剑桥研究院的机器智能与感知小组以及剑桥大学的统计实验室工作。她的研究兴趣是基于贝叶斯和因果推理,图形模型,变分推理,时间序列模型,ML公平性和偏差。

Jan Leike是DeepMind的高级研究科学家,他在那里研究智能体对齐问题。他拥有澳大利亚国立大学的计算机科学博士学位,在那里他致力于理论强化学习。在加入DeepMind之前,他是牛津大学的博士后研究员。Jan的研究兴趣是人工智能安全、强化学习和技术人工智能治理。

成为VIP会员查看完整内容
0
14
小贴士
相关VIP内容
相关论文
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
Jianhong Zhang,Manli Zhang,Zhiwu Lu,Tao Xiang,Jirong Wen
60+阅读 · 2020年2月28日
Bryan Wilder,Eric Ewing,Bistra Dilkina,Milind Tambe
6+阅读 · 2019年5月31日
Deep Learning for Energy Markets
Michael Polson,Vadim Sokolov
4+阅读 · 2019年4月10日
Rethinking Knowledge Graph Propagation for Zero-Shot Learning
Michael Kampffmeyer,Yinbo Chen,Xiaodan Liang,Hao Wang,Yujia Zhang,Eric P. Xing
20+阅读 · 2019年3月27日
Label Embedded Dictionary Learning for Image Classification
Shuai Shao,Yan-Jiang Wang,Bao-Di Liu,Weifeng Liu
4+阅读 · 2019年3月7日
Interpretable machine learning: definitions, methods, and applications
W. James Murdoch,Chandan Singh,Karl Kumbier,Reza Abbasi-Asl,Bin Yu
12+阅读 · 2019年1月14日
He Huang,Changhu Wang,Philip S. Yu,Chang-Dong Wang
6+阅读 · 2018年11月12日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Reciprocal Attention Fusion for Visual Question Answering
Moshiur R Farazi,Salman H Khan
5+阅读 · 2018年7月22日
Tadas Baltrušaitis,Chaitanya Ahuja,Louis-Philippe Morency
122+阅读 · 2017年8月1日
Top