Deep learning techniques, such as Deep Boltzmann Machines (DBMs), have received considerable attention over the past years due to the outstanding results concerning a variable range of domains. One of the main shortcomings of these techniques involves the choice of their hyperparameters, since they have a significant impact on the final results. This work addresses the issue of fine-tuning hyperparameters of Deep Boltzmann Machines using metaheuristic optimization techniques with different backgrounds, such as swarm intelligence, memory- and evolutionary-based approaches. Experiments conducted in three public datasets for binary image reconstruction showed that metaheuristic techniques can obtain reasonable results.


翻译:过去几年来,深博尔茨曼机器等深层学习技术由于在一系列不同领域取得突出成果而受到相当的重视,这些技术的主要缺点之一是选择其超参数,因为它们对最终结果有重大影响。这项工作涉及利用具有不同背景的美术优化技术,如群集智能、记忆和进化方法,对深博尔茨曼机器的超参数进行微调的问题。在三个公共数据集中为二元图像重建进行的实验表明,美术技术可以取得合理的结果。

0
下载
关闭预览

相关内容

玻尔兹曼机(也称为带有隐藏单元的随机Hopfield网络)是一种随机递归神经网络。这是一个马尔可夫随机场,它是从统计物理学翻译过来的,用于认知科学。Boltzmann机器基于具有外部场的随机旋转玻璃模型,即Sherrington-Kirkpatrick模型,它是随机的Ising模型,并应用于机器学习。Boltzmann机器可以看作是Hopfield网络的随机,生成对应物。它们是最早的能够学习内部表示的神经网络之一,并且能够表示和(给定足够的时间)解决组合问题。它是一类典型的随机神经网络属于反馈神经网络类型 。
专知会员服务
28+阅读 · 2020年11月4日
专知会员服务
112+阅读 · 2019年12月24日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
101+阅读 · 2019年10月9日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
人工智能 | CCF推荐期刊专刊约稿信息6条
Call4Papers
5+阅读 · 2019年2月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
自然语言处理(二)机器翻译 篇 (NLP: machine translation)
DeepLearning中文论坛
10+阅读 · 2015年7月1日
Arxiv
18+阅读 · 2019年1月16日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
人工智能 | CCF推荐期刊专刊约稿信息6条
Call4Papers
5+阅读 · 2019年2月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
自然语言处理(二)机器翻译 篇 (NLP: machine translation)
DeepLearning中文论坛
10+阅读 · 2015年7月1日
Top
微信扫码咨询专知VIP会员