Johnson-Lindenstrauss guarantees certain topological structure is preserved under random projections when embedding high dimensional deterministic vectors to low dimensional vectors. In this work, we try to understand how random projections affect norms of random vectors. In particular we prove the distribution of norm of random vectors $X \in \mathbb{R}^n$, whose entries are i.i.d. random variables, is preserved by random projection $S:\mathbb{R}^n \to \mathbb{R}^m$. More precisely, \[ \frac{X^TS^TSX - mn}{\sqrt{\sigma^2 m^2n+2mn^2}} \xrightarrow[\quad m/n\to 0 \quad ]{ m,n\to \infty } \mathcal{N}(0,1) \]


翻译:Johnson- Lindenstraus 保证在将高维确定性矢量嵌入低维矢量时,根据随机预测保留某些表层结构。 在这项工作中, 我们试图理解随机预测如何影响随机矢量的规范。 特别是, 我们证明随机矢量的常规分布 $X\ in\mathbb{R ⁇ n$, 其条目为 i. d. 随机变量, 随机预测保存在 $S:\mathbb{R ⁇ n\to\mathbb{R ⁇ @r ⁇ m$。 更准确地说, \\\ [\\ frac{X}X{TS}TSX - mn\sqrt\sigma2 m ⁇ 2n+2m%2\\\xrightrow[\quad m/n\to 0\qud]{ m, n\\\ to\ infty}\ m\mathcal{N} (0, 1\\]

0
下载
关闭预览

相关内容

迄今为止,产品设计师最友好的交互动画软件。

【硬核书】矩阵代数基础,248页pdf
专知会员服务
83+阅读 · 2021年12月9日
专知会员服务
76+阅读 · 2021年3月16日
【Google】梯度下降,48页ppt
专知会员服务
80+阅读 · 2020年12月5日
专知会员服务
163+阅读 · 2020年7月27日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
MIT新书《强化学习与最优控制》
专知会员服务
275+阅读 · 2019年10月9日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
LeetCode的C++ 11/Python3 题解及解释
专知
16+阅读 · 2019年4月13日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
Arxiv
0+阅读 · 2022年2月3日
Arxiv
0+阅读 · 2022年2月3日
Arxiv
3+阅读 · 2014年10月9日
VIP会员
相关VIP内容
【硬核书】矩阵代数基础,248页pdf
专知会员服务
83+阅读 · 2021年12月9日
专知会员服务
76+阅读 · 2021年3月16日
【Google】梯度下降,48页ppt
专知会员服务
80+阅读 · 2020年12月5日
专知会员服务
163+阅读 · 2020年7月27日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
MIT新书《强化学习与最优控制》
专知会员服务
275+阅读 · 2019年10月9日
相关资讯
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
LeetCode的C++ 11/Python3 题解及解释
专知
16+阅读 · 2019年4月13日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
Top
微信扫码咨询专知VIP会员