A leaderboard named Speech processing Universal PERformance Benchmark (SUPERB), which aims at benchmarking the performance of a shared self-supervised learning (SSL) speech model across various downstream speech tasks with minimal modification of architectures and small amount of data, has fueled the research for speech representation learning. The SUPERB demonstrates speech SSL upstream models improve the performance of various downstream tasks through just minimal adaptation. As the paradigm of the self-supervised learning upstream model followed by downstream tasks arouses more attention in the speech community, characterizing the adversarial robustness of such paradigm is of high priority. In this paper, we make the first attempt to investigate the adversarial vulnerability of such paradigm under the attacks from both zero-knowledge adversaries and limited-knowledge adversaries. The experimental results illustrate that the paradigm proposed by SUPERB is seriously vulnerable to limited-knowledge adversaries, and the attacks generated by zero-knowledge adversaries are with transferability. The XAB test verifies the imperceptibility of crafted adversarial attacks.


翻译:名为 " 语音处理通用合规基准(SUPERB) " (SUPERB)的领导板,旨在为在各种下游演讲任务中共同自我监督的学习语言模型(SSL)的性能设定基准,同时尽量减少结构的修改和少量的数据,这为语音代表学习研究提供了动力。SUPERB展示了语音 SSL上游模型,通过微小的适应,改善了各种下游任务的业绩。作为自我监督的上游学习模型的范例,继之以下游任务,在演讲界引起更多的关注,将这种模式的对抗性强力定性为高度优先事项。在本文中,我们首次尝试调查这种模式在来自零知识对手和有限知识对手的攻击中具有的对抗性脆弱性。实验结果表明,SUPERB提出的模式极易受到有限知识对手的伤害,而零知识对手造成的攻击具有可转移性。XAB测试验证了编造的对抗性攻击的不可接受性。

0
下载
关闭预览

相关内容

【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
元学习(meta learning) 最新进展综述论文
专知会员服务
278+阅读 · 2020年5月8日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
14+阅读 · 2021年8月5日
Arxiv
13+阅读 · 2021年7月20日
Arxiv
25+阅读 · 2021年3月20日
Arxiv
5+阅读 · 2020年10月22日
Arxiv
38+阅读 · 2020年3月10日
Adversarial Transfer Learning
Arxiv
12+阅读 · 2018年12月6日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Arxiv
14+阅读 · 2021年8月5日
Arxiv
13+阅读 · 2021年7月20日
Arxiv
25+阅读 · 2021年3月20日
Arxiv
5+阅读 · 2020年10月22日
Arxiv
38+阅读 · 2020年3月10日
Adversarial Transfer Learning
Arxiv
12+阅读 · 2018年12月6日
Top
微信扫码咨询专知VIP会员