Regression models with crossed random effect errors can be very expensive to compute. The cost of both generalized least squares and Gibbs sampling can easily grow as $N^{3/2}$ (or worse) for $N$ observations. Papaspiliopoulos et al. (2020) present a collapsed Gibbs sampler that costs $O(N)$, but under an extremely stringent sampling model. We propose a backfitting algorithm to compute a generalized least squares estimate and prove that it costs $O(N)$. A critical part of the proof is in ensuring that the number of iterations required is $O(1)$ which follows from keeping a certain matrix norm below $1-\delta$ for some $\delta>0$. Our conditions are greatly relaxed compared to those for the collapsed Gibbs sampler, though still strict. Empirically, the backfitting algorithm has a norm below $1-\delta$ under conditions that are less strict than those in our assumptions. We illustrate the new algorithm on a ratings data set from Stitch Fix.


翻译:具有跨越随机效应误差的回归模型可能非常昂贵。 普通最低方位和Gibbs抽样的成本可以很容易地以美元(或更差)的美元增长。 Papaspiliopoulos 等人( 2020年) 提出了一个崩溃的Gibs取样器, 成本为O( N) 美元, 但是在极其严格的抽样模型下。 我们提出一个回调算法, 来计算普遍最低方位的估算, 并证明它的成本为O( N)美元。 证据的一个重要部分是确保所需的迭代数为O(1)美元, 这是因为将某种矩阵规范保持在1\ delta美元以下( 或更差) 美元以下。 我们的条件与崩溃的Gibs采样器的条件相比,尽管仍然很严格, 但仍然非常宽松。 典型的反调算法在比我们假设的不那么严格的条件下, 低于1\ delta美元的标准。 我们用新的算法来说明Stitch Fix的评级数据设置的新算法。

0
下载
关闭预览

相关内容

最新《深度持续学习》综述论文,32页pdf
专知会员服务
180+阅读 · 2020年9月7日
专知会员服务
17+阅读 · 2020年9月6日
最新《图神经网络模型与应用》综述论文
专知会员服务
293+阅读 · 2020年8月2日
元学习(meta learning) 最新进展综述论文
专知会员服务
278+阅读 · 2020年5月8日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
已删除
将门创投
5+阅读 · 2019年4月29日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
VIP会员
相关VIP内容
最新《深度持续学习》综述论文,32页pdf
专知会员服务
180+阅读 · 2020年9月7日
专知会员服务
17+阅读 · 2020年9月6日
最新《图神经网络模型与应用》综述论文
专知会员服务
293+阅读 · 2020年8月2日
元学习(meta learning) 最新进展综述论文
专知会员服务
278+阅读 · 2020年5月8日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
已删除
将门创投
5+阅读 · 2019年4月29日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员