为了追求精度,深度学习模型框架的结构越来越复杂,网络越来越深。参数量的增加意味着训练模型需要更多的数据。然而人工标注数据的成本是高昂的,且受客观原因所限,实际应用时可能难以获得特定领域的数据,数据不足问题非常常见。数据增强通过人为地生成新的数据增加数据量来缓解这一问题。数据增强方法在计算机视觉领域大放异彩,让人们开始关注类似方法能否应用在序列数据上。除了翻转、裁剪等在时间域进行增强的方法外,也描述了在频率域实现数据增强的方法;除了人们基于经验或知识而设计的方法以外,对一系列基于GAN的通过机器学习模型自动生成数据的方法也进行了详细的论述。介绍了应用在自然语言文本、音频信号和时间序列等多种序列数据上的数据增强方法,亦有涉及它们在医疗诊断、情绪判断等问题上的表现。尽管数据类型不同,但总结了应用在这些类型上的数据增强方法背后的相似的设计思路。以这一思路为线索,梳理应用在各类序列数据类型上的多种数据增强方法,并进行了一定的讨论和展望。

http://fcst.ceaj.org/CN/abstract/abstract2790.shtml

成为VIP会员查看完整内容
0
16

相关内容

数据增强是通过转换为机器学习人工创建训练数据,是机器学习学科中一个广泛研究的研究领域。虽然它对于提高模型的泛化能力很有用,但它也可以解决许多其他挑战和问题,从克服有限数量的训练数据到规范目标到限制数据量用于保护隐私。基于对数据增强的目标和应用的精确描述以及现有的分类法作品,该调查涉及用于文本分类的数据增强方法,旨在实现简洁和研究人员和从业人员的综合概述。根据分类法,我们将100多种方法分为12不同的分组,并提供最先进的参考资料,阐述哪些方法非常有前途。最后,研究给出了可能构成未来工作基石的观点。

https://www.zhuanzhi.ai/paper/6a3ab7686edb4fbbc9b7fe15b7a349a4

成为VIP会员查看完整内容
0
36

自然语言生成(NLG)技术利用人工智能和语言学的方法来自动地生成可理解的自然语言文本。NLG降低了人类和计算机之间沟通的难度,被广泛应用于机器新闻写作、聊天机器人等领域,已经成为人工智能的研究热点之一。首先,列举了当前主流的NLG的方法和模型,并详细对比了这些方法和模型的优缺点;然后,分别针对文本到文本、数据到文本和图像到文本等三种NLG技术,总结并分析了应用领域、存在的问题和当前的研究进展;进而,阐述了上述生成技术的常用评价方法及其适用范围;最后,给出了当前NLG技术的发展趋势和研究难点。

http://www.joca.cn/CN/abstract/abstract24496.shtml

成为VIP会员查看完整内容
0
16

对话系统作为人机交互的重要方式,有着广泛的应用前景。现有的对话系统专注于解决语义一致性和内容丰富性等问题,对于提高人机交互以及产生人机共鸣方向的研究关注度不高。如何让生成的语句在具有语义相关性的基础上更自然地与用户交流是当前对话系统面临的主要问题之一。首先对对话系统进行了整体情况的概括。接着介绍了情感对话系统中的对话情绪感知和情感对话生成两大任务,并分别调研归纳了相关方法。对话情绪感知任务大致分为基于上下文和基于用户信息两类方法。情感对话生成的方法包括规则匹配算法、指定情感回复的生成模型和不指定情感回复的生成模型,并从情绪数据类别和模型方法等方面进行了对比分析。然后总结整理了两大任务下数据集的特点和链接便于后续的研究,并归纳了当前情感对话系统中不同的评估方法。最后对情感对话系统的工作进行了总结和展望。

http://fcst.ceaj.org/CN/abstract/abstract2684.shtml

成为VIP会员查看完整内容
0
20

信息论的经典结果表明,信源信道分离编码是渐进最优的。但现代通信系统对时延、带宽等愈发敏 感,分离设计对解码具有无限计算能力这一假设难以成立。带宽有限时,相对于信源信道联合编码,分离编 码已被证明是次优的。传统的联合信源信道编码需要复杂的编码方案,相较之下,数据驱动的深度学习技术 则带来了新的设计思路。适时地对相关研究成果进行总结,有助于进一步明确深度学习方法解决信源信道联 合编码问题的方式,为研究新的研究方向提供依据。首先介绍了基于深度学习的信源压缩方案和端对端收发 信机模型,随后分析不同信源类型下的两种联合编码设计思路,最后探讨了基于深度学习的信源信道联合编 码的潜在问题和未来的工作方向。

成为VIP会员查看完整内容
0
19

http://cea.ceaj.org/CN/abstract/abstract39198.shtml

近年来,深度学习技术被广泛应用于各个领域,基于深度学习的预处理模型将自然语言处理带入一个新时代。预训练模型的目标是如何使预训练好的模型处于良好的初始状态,在下游任务中达到更好的性能表现。对预训练技术及其发展历史进行介绍,并按照模型特点划分为基于概率统计的传统模型和基于深度学习的新式模型进行综述;简要分析传统预训练模型的特点及局限性,重点介绍基于深度学习的预训练模型,并针对它们在下游任务的表现进行对比评估;梳理出具有启发意义的新式预训练模型,简述这些模型的改进机制以及在下游任务中取得的性能提升;总结目前预训练的模型所面临的问题,并对后续发展趋势进行展望。

成为VIP会员查看完整内容
0
60

摘要: 深度学习作为人工智能技术的重要组成部分,被广泛应用在计算机视觉、自然语言处理等领域。尽管深 度学习在图像分类和目标检测等方向上取得了较好性能,但研究表明,对抗攻击的存在对深度学习模型的安全应 用造成了潜在威胁,进而影响模型的安全性。本文在简述对抗样本的概念及其产生原因的基础上,分析对抗攻击 的主要思路,研究具有代表性的经典对抗样本生成方法。描述对抗样本的检测方法与防御方法,并从应用角度阐 述对抗样本在不同领域的应用实例。通过对对抗样本攻击与防御方法的分析与总结,预测未来对抗攻击与防御的 研究方向。

http://www.ecice06.com/CN/10.19678/j.issn.1000-3428.0059156

成为VIP会员查看完整内容
0
33

摘要:大数据是多源异构的。在信息技术飞速发展的今天,多模态数据已成为近来数据资源的主要形式。研究多模态学习方法,赋予计算机理解多源异构海量数据的能力具有重要价值。本文归纳了多模态的定义与多模态学习的基本任务,介绍了多模态学习的认知机理与发展过程。在此基础上,重点综述了多模态统计学习方法与深度学习方法。此外,本文系统归纳了近两年较为新颖的基于对抗学习的跨模态匹配与生成技术。本文总结了多模态学习的主要形式,并对未来可能的研究方向进行思考与展望。

成为VIP会员查看完整内容
0
102

自然语言处理(NLP)帮助智能机器更好地理解人类语言,实现基于语言的人机交流。计算能力的最新发展和大量语言数据的出现,增加了使用数据驱动方法自动进行语义分析的需求。由于深度学习方法在计算机视觉、自动语音识别,特别是NLP等领域的应用取得了显著的进步,数据驱动策略的应用已经非常普遍。本调查对得益于深度学习的NLP的不同方面和应用进行了分类和讨论。它涵盖了核心的NLP任务和应用,并描述了深度学习方法和模型如何推进这些领域。我们进一步分析和比较不同的方法和最先进的模型。

成为VIP会员查看完整内容
0
139
小贴士
相关VIP内容
专知会员服务
36+阅读 · 7月11日
专知会员服务
16+阅读 · 5月29日
专知会员服务
34+阅读 · 5月27日
专知会员服务
20+阅读 · 5月21日
专知会员服务
25+阅读 · 5月10日
专知会员服务
19+阅读 · 1月9日
专知会员服务
60+阅读 · 2020年12月9日
专知会员服务
33+阅读 · 2020年12月8日
专知会员服务
102+阅读 · 2020年5月6日
专知会员服务
139+阅读 · 2020年3月6日
相关资讯
多模态视觉语言表征学习研究综述
专知
10+阅读 · 2020年12月3日
最新《多任务学习》综述,39页pdf
专知
8+阅读 · 2020年7月10日
赛尔笔记 | 深度学习领域的数据增强
AINLP
3+阅读 · 2019年12月10日
数据增强文献综述
极市平台
12+阅读 · 2019年8月4日
深度学习综述(下载PDF版)
机器学习算法与Python学习
20+阅读 · 2018年7月3日
深度学习目标检测模型全面综述:Faster R-CNN、R-FCN和SSD
深度学习世界
10+阅读 · 2017年9月18日
相关论文
Arkaprava Roy,Shubhashis Ghosal
0+阅读 · 7月19日
Anish Pimpley,Shuo Li,Anubha Srivastava,Vishal Rohra,Yi Zhu,Soundararajan Srinivasan,Alekh Jindal,Hiren Patel,Shi Qiao,Rathijit Sen
0+阅读 · 7月19日
Xipeng Qiu,Tianxiang Sun,Yige Xu,Yunfan Shao,Ning Dai,Xuanjing Huang
90+阅读 · 2020年3月18日
Varun Kumar,Ashutosh Choudhary,Eunah Cho
8+阅读 · 2020年3月4日
Lanqing Xue,Xiaopeng Li,Nevin L. Zhang
3+阅读 · 2019年12月1日
Fast AutoAugment
Sungbin Lim,Ildoo Kim,Taesup Kim,Chiheon Kim,Sungwoong Kim
4+阅读 · 2019年5月1日
Few-shot Learning: A Survey
Yaqing Wang,Quanming Yao
316+阅读 · 2019年4月10日
Sergey Edunov,Alexei Baevski,Michael Auli
3+阅读 · 2019年4月1日
Oriol Vinyals,Charles Blundell,Timothy Lillicrap,Koray Kavukcuoglu,Daan Wierstra
8+阅读 · 2017年12月29日
Top