The primary hyperparameter in kernel regression (KR) is the choice of kernel. In most theoretical studies of KR, one assumes the kernel is fixed before seeing the training data. Under this assumption, it is known that the optimal kernel is equal to the prior covariance of the target function. In this note, we consider KR in which the kernel may be updated after seeing the training data. We point out that an analogous choice of kernel using the posterior of the target function is optimal in this setting. Connections to the view of deep neural networks as data-dependent kernel learners are discussed.
翻译:内核回归( KR) 的主要超强参数是内核的选择。 在对 KR 的大多数理论研究中, 人们假设内核在看到培训数据之前是固定的。 根据这一假设, 已知最佳内核等于目标函数先前的共变。 在本说明中, 我们考虑 KR 在看到培训数据后, 内核可以更新。 我们指出, 使用目标函数的后端对内核的类似选择在此环境中是最佳的。 讨论与深神经网络作为数据依赖内核学习者的观点的联系 。