K-Nearest neighbor classifier (k-NNC) is simple to use and has little design time like finding k values in k-nearest neighbor classifier, hence these are suitable to work with dynamically varying data-sets. There exists some fundamental improvements over the basic k-NNC, like weighted k-nearest neighbors classifier (where weights to nearest neighbors are given based on linear interpolation), using artificially generated training set called bootstrapped training set, etc. These improvements are orthogonal to space reduction and classification time reduction techniques, hence can be coupled with any of them. The paper proposes another improvement to the basic k-NNC where the weights to nearest neighbors are given based on Gaussian distribution (instead of linear interpolation as done in weighted k-NNC) which is also independent of any space reduction and classification time reduction technique. We formally show that our proposed method is closely related to non-parametric density estimation using a Gaussian kernel. We experimentally demonstrate using various standard data-sets that the proposed method is better than the existing ones in most cases.


翻译:K- nearest邻居分类器(k- NNC) 简单易用,设计时间也很少,比如在 K- nearest邻居分类器中找到 k 值,因此这些分类器适合使用动态不同的数据集。基本 k- NNC 存在一些根本性的改进,如加权 k- nearest邻居分类器(根据线性内插对最近的邻居加权),使用人工生成的称为靴式训练装置的培训装置。这些改进装置与空间减少和分类时间减少技术不相符合,因此可以与其中任何一种技术相配合。本文建议对基本 k- NNC 进行另一次改进,即根据高斯分布(而不是在加权 k- NNC 中进行的线性内插)给最近的邻居加权(而不是在加权的 k- NNC 中进行的线性内插) 。 我们正式表明,我们提出的方法与使用高斯内核的非参数密度估计密切相关。 我们实验用各种标准数据设置证明,在多数情况下,拟议方法优于现有方法。

0
下载
关闭预览

相关内容

专知会员服务
61+阅读 · 2020年3月4日
专知会员服务
159+阅读 · 2020年1月16日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【学习】(Python)SVM数据分类
机器学习研究会
6+阅读 · 2017年10月15日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Deep Randomized Ensembles for Metric Learning
Arxiv
5+阅读 · 2018年9月4日
Few Shot Learning with Simplex
Arxiv
5+阅读 · 2018年7月27日
Arxiv
11+阅读 · 2018年7月8日
Arxiv
9+阅读 · 2018年3月28日
Arxiv
4+阅读 · 2018年3月14日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【学习】(Python)SVM数据分类
机器学习研究会
6+阅读 · 2017年10月15日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Deep Randomized Ensembles for Metric Learning
Arxiv
5+阅读 · 2018年9月4日
Few Shot Learning with Simplex
Arxiv
5+阅读 · 2018年7月27日
Arxiv
11+阅读 · 2018年7月8日
Arxiv
9+阅读 · 2018年3月28日
Arxiv
4+阅读 · 2018年3月14日
Top
微信扫码咨询专知VIP会员