Successful motor-imagery brain-computer interface (MI-BCI) algorithms either extract a large number of handcrafted features and train a classifier, or combine feature extraction and classification within deep convolutional neural networks (CNNs). Both approaches typically result in a set of real-valued weights, that pose challenges when targeting real-time execution on tightly resource-constrained devices. We propose methods for each of these approaches that allow transforming real-valued weights to binary numbers for efficient inference. Our first method, based on sparse bipolar random projection, projects a large number of real-valued Riemannian covariance features to a binary space, where a linear SVM classifier can be learned with binary weights too. By tuning the dimension of the binary embedding, we achieve almost the same accuracy in 4-class MI ($\leq$1.27% lower) compared to models with float16 weights, yet delivering a more compact model with simpler operations to execute. Second, we propose to use memory-augmented neural networks (MANNs) for MI-BCI such that the augmented memory is binarized. Our method replaces the fully connected layer of CNNs with a binary augmented memory using bipolar random projection, or learned projection. Our experimental results on EEGNet, an already compact CNN for MI-BCI, show that it can be compressed by 1.28x at iso-accuracy using the random projection. On the other hand, using the learned projection provides 3.89% higher accuracy but increases the memory size by 28.10x.


翻译:成功的马达模拟大脑- 计算机界面( MI- BCI) 成功 的马达模拟 大脑- 计算机界面( MI- BCI) 算法, 或者提取大量手工艺特征, 训练一个分类器, 或者在深层神经神经神经网络( CNNs) 中将特征提取和分类组合。 这两种方法通常都会产生一系列真实价值的重量。 当将实时执行设定在严格资源限制的装置上时, 这两种方法都构成挑战。 我们为其中每一种方法提出了方法, 以便将实际价值的重量转换为二进制数字, 以高效推断为有效。 我们的第一种方法, 以稀少的双极随机随机投影为基础, 将大量真实价值的里曼尼共变异性功能投射到一个二进制空间, 也可以用二进制重量的双进制 SVMLM 。 通过调整二进制的直流, 我们的直流的直径直径直径直线 SMAR-, 将自动投影化的直径直径直径图,, 将自动投影射法在 IMISAL IMIS IMIS IMIS 上, IMIS II II 上, 上, 的直径直径直射中,,,, 的直径直径直径直投射为,, II 直径直径直径直径直投,, II,, 直投, II II,,, 直径直投影, II II, 直投,,,, II II,,, 直投为, II- II- II- II-, II- II-, II- II- II- II- II- II- II- II- II- II- II- II- II- II- II- II- II- II- II-, II- II- II- II- II- II- II- II- II-, II- II- II-

0
下载
关闭预览

相关内容

【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
【Manning新书】现代Java实战,592页pdf
专知会员服务
99+阅读 · 2020年5月22日
专知会员服务
60+阅读 · 2020年3月19日
专知会员服务
109+阅读 · 2020年3月12日
MIT-深度学习Deep Learning State of the Art in 2020,87页ppt
专知会员服务
61+阅读 · 2020年2月17日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
AI可解释性文献列表
专知
42+阅读 · 2019年10月7日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
(TensorFlow)实时语义分割比较研究
机器学习研究会
9+阅读 · 2018年3月12日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
深度学习医学图像分析文献集
机器学习研究会
18+阅读 · 2017年10月13日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2020年11月26日
3D Deep Learning on Medical Images: A Review
Arxiv
12+阅读 · 2020年4月1日
VIP会员
相关资讯
AI可解释性文献列表
专知
42+阅读 · 2019年10月7日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
(TensorFlow)实时语义分割比较研究
机器学习研究会
9+阅读 · 2018年3月12日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
深度学习医学图像分析文献集
机器学习研究会
18+阅读 · 2017年10月13日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员