项目名称: 随机门设计及其体系结构在机器学习中的应用

项目编号: No.61472243

项目类型: 面上项目

立项/批准年度: 2015

项目学科: 自动化技术、计算机技术

项目作者: 苑波

作者单位: 上海交通大学

项目金额: 80万元

中文摘要: 许多机器学习和推理问题的一个特点是存在着不确定性。在这种不确定的环境下对推理问题的解决依赖于将它转换为概率性的模型,并求解概率分布。为了降低计算的复杂度,机器学习和推理问题的解决现在多依赖于基于图模型的采样算法。进一步提高这一算法的运行性能将提升许多学习和推理问题的求解速度,增大计算机能够处理的问题的规模。然而,利用传统处理器来实现这种采样算法具有局限性。主要原因在于:1)图模型采样算法的随机性和硬件的确定性之间存在着一定的矛盾;2)基于传统处理器的实现不利于发挥算法所具备的并行性。在本项目中,我们将探索一种更高效的硬件平台来实现基于图模型的采样算法。针对算法需要以任意概率分布产生随机输出的特点,我们提出设计一种称为随机门的数字电路来更自然地产生随机输出。进一步,我们将探索如何设计基于随机门的可重构的体系结构来实现这一算法,以充分利用算法具有的并行性,并能够对任意的图进行采样.

中文关键词: 随机门;随机计算;并行计算;图模型;蒙特卡罗采样

英文摘要: Many machine learning and inference problems are characterized by uncertainties. Therefore, it is natural to model them as probabilistic problems. With this modeling, solving the inference problem is equivalent to obtaining some probability distributions. In order to reduce the computational complexity, the method of sampling a probabilistic graphical model is widely used. Accelerating this algorithm will speed up the solving of many learning and inference problems and enable problems with larger scale to be solved. However, the method of sampling a graphical model is usually implemented using a general purpose processor, which has two major drawbacks: 1) the random nature of the algorithm is incompatible with the deterministic hardware used to build the general purpose processor, and 2) the general purpose processor cannot fully exploit the inherent parallelism of the graph-based sampling algorithm. In this project, we will design a novel computational platform to efficiently implement the sampling algorithm. We propose to develop a novel type of stochastic gate to naturally generate the random samples required by the algorithm. Furthermore, we will explore how to build a reconfigurable architecture with the stochastic gates to fully exploit the parallelism of the algorithm and to make the hardware be applicable to arbitrary graphs.

英文关键词: Stchastic Gate;Stochastic Computing;Parallel Computing;Graphical Model;Monte Carlo Sampling

成为VIP会员查看完整内容
3

相关内容

【博士论文】机器学习中的标记增强理论 与应用研究
专知会员服务
24+阅读 · 2021年12月3日
专知会员服务
160+阅读 · 2021年10月8日
专知会员服务
18+阅读 · 2021年10月6日
【经典书】机器学习统计学,476页pdf
专知会员服务
89+阅读 · 2021年7月19日
【干货书】线性代数及其应用,688页pdf
专知会员服务
93+阅读 · 2021年6月10日
最新《计算机体系结构和系统的机器学习》综述论文
专知会员服务
42+阅读 · 2021年2月17日
【博士论文】解耦合的类脑计算系统栈设计
专知会员服务
22+阅读 · 2020年12月14日
【经典书】机器学习:贝叶斯和优化方法,1075页pdf
专知会员服务
317+阅读 · 2020年6月8日
基于机器学习的自动化网络流量分析
CCF计算机安全专委会
3+阅读 · 4月8日
基于规则的建模方法的可解释性及其发展
专知
2+阅读 · 2021年6月23日
【机器学习】机器学习:未来十年研究热点
产业智能官
14+阅读 · 2018年11月4日
机器学习知识体系
架构文摘
15+阅读 · 2018年1月7日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
3+阅读 · 2008年12月31日
国家自然科学基金
2+阅读 · 2008年12月31日
Convex-Concave Min-Max Stackelberg Games
Arxiv
0+阅读 · 4月19日
Arxiv
10+阅读 · 2021年2月18日
Arxiv
10+阅读 · 2019年11月14日
Arxiv
11+阅读 · 2018年10月17日
小贴士
相关VIP内容
【博士论文】机器学习中的标记增强理论 与应用研究
专知会员服务
24+阅读 · 2021年12月3日
专知会员服务
160+阅读 · 2021年10月8日
专知会员服务
18+阅读 · 2021年10月6日
【经典书】机器学习统计学,476页pdf
专知会员服务
89+阅读 · 2021年7月19日
【干货书】线性代数及其应用,688页pdf
专知会员服务
93+阅读 · 2021年6月10日
最新《计算机体系结构和系统的机器学习》综述论文
专知会员服务
42+阅读 · 2021年2月17日
【博士论文】解耦合的类脑计算系统栈设计
专知会员服务
22+阅读 · 2020年12月14日
【经典书】机器学习:贝叶斯和优化方法,1075页pdf
专知会员服务
317+阅读 · 2020年6月8日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
3+阅读 · 2008年12月31日
国家自然科学基金
2+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员