使用智能手机收集的呼吸音,经过深度学习模型训练,用于检测和分类COVID-19,最近变得流行起来。它消除了对现场检测程序的需要,特别是对相关医疗用品、有经验的工人和设备有限的农村地区。然而,现有的基于声音的诊断方法是在完全监督的方式下进行训练的,这需要大量标记良好的数据。重要的是发现新的方法来利用无标记的呼吸数据,这可以更容易地获得。在本文中,我们提出了一种新的自监督学习框架,用于COVID-19咳嗽分类。引入对比预训练阶段,以训练无标记数据的基于Transformer的特征编码器。具体来说,我们设计了一个随机掩蔽机制来学习呼吸音的鲁棒表示。然后在下游阶段对预训练的特征编码器进行微调,以执行咳嗽分类。此外,在下游阶段还研究了不同随机掩蔽率下的集成。通过广泛的评估,我们证明了所提出的对比训练前、随机掩蔽机制和集成架构有助于提高咳嗽分类性能。

https://www.zhuanzhi.ai/paper/04b3668a6f463e3342c18d32b55b0f33

成为VIP会员查看完整内容
12

相关内容

自监督学习(self-supervised learning)可以被看作是机器学习的一种“理想状态”,模型直接从无标签数据中自行学习,无需标注数据。
专知会员服务
26+阅读 · 2021年7月11日
专知会员服务
31+阅读 · 2021年7月2日
专知会员服务
24+阅读 · 2021年6月17日
【WWW2021】本体增强零样本学习
专知会员服务
32+阅读 · 2021年2月26日
【WWW2021】充分利用层级结构进行自监督分类法扩展
专知会员服务
15+阅读 · 2021年2月7日
专知会员服务
44+阅读 · 2021年1月31日
【AAAI2021】小样本学习多标签意图检测
专知会员服务
54+阅读 · 2020年12月8日
【CVPR2020】多模态社会媒体中危机事件分类
专知会员服务
54+阅读 · 2020年4月18日
【NeurIPS2020 】数据扩充的图对比学习
专知
9+阅读 · 2020年11月9日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
结合弱监督信息的凸聚类
计算机研究与发展
6+阅读 · 2017年8月30日
Arxiv
1+阅读 · 2021年7月16日
VIP会员
相关VIP内容
专知会员服务
26+阅读 · 2021年7月11日
专知会员服务
31+阅读 · 2021年7月2日
专知会员服务
24+阅读 · 2021年6月17日
【WWW2021】本体增强零样本学习
专知会员服务
32+阅读 · 2021年2月26日
【WWW2021】充分利用层级结构进行自监督分类法扩展
专知会员服务
15+阅读 · 2021年2月7日
专知会员服务
44+阅读 · 2021年1月31日
【AAAI2021】小样本学习多标签意图检测
专知会员服务
54+阅读 · 2020年12月8日
【CVPR2020】多模态社会媒体中危机事件分类
专知会员服务
54+阅读 · 2020年4月18日
微信扫码咨询专知VIP会员