Perusal of research articles that deal with the topic of matrix calculus reveal two different approaches to calculation of the gradient of a real-valued function of a symmetric matrix leading to two different results. In the mechanics and physics communities, the gradient is calculated using the definition of a \frechet derivative, irrespective of whether the argument is symmetric or not. However, members of the statistics, economics, and electrical engineering communities use another notion of the gradient that explicitly takes into account the symmetry of the matrix, and this "symmetric gradient" $G_s$ is reported to be related to the gradient $G$ computed from the \frechet derivative with respect to a general matrix as $G_s = G + G^T - G \circ I$, where $\circ$ denotes the elementwise Hadamard product of the two matrices. We demonstrate that this relation is incorrect, and reconcile both these viewpoints by proving that $G_s = \mathrm{sym}(G)$.


翻译:处理矩阵微积分专题的秘鲁研究文章揭示了两种不同的计算方法,即计算对称矩阵实际作用价值的梯度,从而得出两种不同的结果。在机械界和物理学界,梯度是使用\frechet衍生物的定义计算的,而不管其论点是否对称性。然而,统计、经济学和电气工程界的成员使用另一个梯度概念,明确考虑到矩阵的对称性,这种“对称梯度” $G_s,据报告与以$G_s = G+ GáT - G\cic I$为总矩阵计算的梯度$G$有关,其中$crc$表示两个矩阵的Hadamard产元素。我们证明这种关系是不正确的,并通过证明$s=\mathrm{sym}(G)美元来调和这两种观点。

0
下载
关闭预览

相关内容

【推荐系统/计算广告/机器学习/CTR预估资料汇总】
专知会员服务
87+阅读 · 2019年10月21日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Visualizing and Measuring the Geometry of BERT
Arxiv
7+阅读 · 2019年10月28日
Arxiv
4+阅读 · 2019年1月14日
Arxiv
6+阅读 · 2018年11月29日
The Matrix Calculus You Need For Deep Learning
Arxiv
12+阅读 · 2018年7月2日
Arxiv
4+阅读 · 2018年1月15日
VIP会员
相关VIP内容
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员