We consider the task of learning the parameters of a {\em single} component of a mixture model, for the case when we are given {\em side information} about that component, we call this the "search problem" in mixture models. We would like to solve this with computational and sample complexity lower than solving the overall original problem, where one learns parameters of all components. Our main contributions are the development of a simple but general model for the notion of side information, and a corresponding simple matrix-based algorithm for solving the search problem in this general setting. We then specialize this model and algorithm to four common scenarios: Gaussian mixture models, LDA topic models, subspace clustering, and mixed linear regression. For each one of these we show that if (and only if) the side information is informative, we obtain parameter estimates with greater accuracy, and also improved computation complexity than existing moment based mixture model algorithms (e.g. tensor methods). We also illustrate several natural ways one can obtain such side information, for specific problem instances. Our experiments on real data sets (NY Times, Yelp, BSDS500) further demonstrate the practicality of our algorithms showing significant improvement in runtime and accuracy.


翻译:我们考虑的是学习混合物模型中的 {em单} 元件的参数的任务, 当我们被给出有关该元件的 {em侧边信息} 时, 我们称之为混合物模型中的“ 搜索问题 ” 。 我们想用计算和样本复杂性小于解决所有元件的原始总问题, 也就是学习所有元件的参数。 我们的主要贡献是开发一个简单但通用的侧信息概念模型, 以及相应的基于矩阵的简单算法, 以解决这个总体环境中的搜索问题 。 然后我们专门将这个模型和算法应用于四种常见的假设: 高斯混合物模型、 LDA 主题模型、 子空间组合和混合线性回归。 对于其中的每一种, 我们证明如果( ) 侧信息是信息, 我们得到的参数估计更加精确, 并且比现有的基于时段的混合模型算法( 例如 数 方法 ) 更精确的计算复杂。 我们还说明了一些自然的方法, 可以在特定的问题实例中获取这种侧边端信息。 我们在真实数据集上的实验( NYTimes, Yelp, BSDS500) 进一步展示我们运行时程和算法的精确性。

3
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
因果图,Causal Graphs,52页ppt
专知会员服务
220+阅读 · 2020年4月19日
深度强化学习策略梯度教程,53页ppt
专知会员服务
159+阅读 · 2020年2月1日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
42+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
125+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
143+阅读 · 2019年10月11日
2019年机器学习框架回顾
专知会员服务
34+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
78+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
18+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
17+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
36+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
11+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
17+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
【论文】变分推断(Variational inference)的总结
机器学习研究会
35+阅读 · 2017年11月16日
【推荐】RNN/LSTM时序预测
机器学习研究会
24+阅读 · 2017年9月8日
Auto-Encoding GAN
CreateAMind
5+阅读 · 2017年8月4日
AutoML: A Survey of the State-of-the-Art
Arxiv
61+阅读 · 2019年8月14日
Area Attention
Arxiv
5+阅读 · 2019年5月23日
Arxiv
12+阅读 · 2018年9月5日
VIP会员
相关VIP内容
因果图,Causal Graphs,52页ppt
专知会员服务
220+阅读 · 2020年4月19日
深度强化学习策略梯度教程,53页ppt
专知会员服务
159+阅读 · 2020年2月1日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
42+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
125+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
143+阅读 · 2019年10月11日
2019年机器学习框架回顾
专知会员服务
34+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
78+阅读 · 2019年10月10日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
18+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
17+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
36+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
11+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
17+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
【论文】变分推断(Variational inference)的总结
机器学习研究会
35+阅读 · 2017年11月16日
【推荐】RNN/LSTM时序预测
机器学习研究会
24+阅读 · 2017年9月8日
Auto-Encoding GAN
CreateAMind
5+阅读 · 2017年8月4日
相关论文
Top
微信扫码咨询专知VIP会员