K-means 在 Python 中的实现

2017 年 9 月 11 日 Python开发者

(点击上方蓝字,快速关注我们)


来源:Stardustsky

segmentfault.com/a/1190000010863236

如有好文章投稿,请点击 → 这里了解详情


K-means算法简介


K-means是机器学习中一个比较常用的算法,属于无监督学习算法,其常被用于数据的聚类,只需为它指定簇的数量即可自动将数据聚合到多类中,相同簇中的数据相似度较高,不同簇中数据相似度较低。


K-menas的优缺点:


优点:


  • 原理简单

  • 速度快

  • 对大数据集有比较好的伸缩性


缺点:


  • 需要指定聚类 数量K

  • 对异常值敏感

  • 对初始值敏感


K-means的聚类过程


其聚类过程类似于梯度下降算法,建立代价函数并通过迭代使得代价函数值越来越小


  • 适当选择c个类的初始中心;

  • 在第k次迭代中,对任意一个样本,求其到c个中心的距离,将该样本归到距离最短的中心所在的类;

  • 利用均值等方法更新该类的中心值;

  • 对于所有的c个聚类中心,如果利用(2)(3)的迭代法更新后,值保持不变,则迭代结束,否则继续迭代。



该算法的最大优势在于简洁和快速。算法的关键在于初始中心的选择和距离公式。


K-means 实例展示


python中km的一些参数:


sklearn.cluster.KMeans(

    n_clusters=8,

    init='k-means++',

    n_init=10,

    max_iter=300,

    tol=0.0001,

    precompute_distances='auto',

    verbose=0,

    random_state=None,

    copy_x=True,

    n_jobs=1,

    algorithm='auto'

    )


  • n_clusters: 簇的个数,即你想聚成几类

  • init: 初始簇中心的获取方法

  • n_init: 获取初始簇中心的更迭次数,为了弥补初始质心的影响,算法默认会初始10个质心,实现算法,然后返回最好的结果。

  • max_iter: 最大迭代次数(因为kmeans算法的实现需要迭代)

  • tol: 容忍度,即kmeans运行准则收敛的条件

  • precompute_distances:是否需要提前计算距离,这个参数会在空间和时间之间做权衡,如果是True 会把整个距离矩阵都放到内存中,auto 会默认在数据样本大于featurs*samples 的数量大于12e6 的时候False,False 时核心实现的方法是利用Cpython 来实现的

  • verbose: 冗长模式(不太懂是啥意思,反正一般不去改默认值)

  • random_state: 随机生成簇中心的状态条件。

  • copy_x: 对是否修改数据的一个标记,如果True,即复制了就不会修改数据。bool 在scikit-learn 很多接口中都会有这个参数的,就是是否对输入数据继续copy 操作,以便不修改用户的输入数据。这个要理解Python 的内存机制才会比较清楚。

  • n_jobs: 并行设置

  • algorithm: kmeans的实现算法,有:’auto’, ‘full’, ‘elkan’, 其中 ‘full’表示用EM方式实现


虽然有很多参数,但是都已经给出了默认值。所以我们一般不需要去传入这些参数,参数的。可以根据实际需要来调用。


下面展示一个代码例子


from sklearn.cluster import KMeans

from sklearn.externals import joblib

from sklearn import cluster

import numpy as np

 

# 生成10*3的矩阵

data = np.random.rand(10,3)

print data

# 聚类为4类

estimator=KMeans(n_clusters=4)

# fit_predict表示拟合+预测,也可以分开写

res=estimator.fit_predict(data)

# 预测类别标签结果

lable_pred=estimator.labels_

# 各个类别的聚类中心值

centroids=estimator.cluster_centers_

# 聚类中心均值向量的总和

inertia=estimator.inertia_

 

print lable_pred

print centroids

print inertia

 

代码执行结果

[0 2 1 0 2 2 0 3 2 0]

 

[[ 0.3028348   0.25183096  0.62493622]

[ 0.88481287  0.70891813  0.79463764]

[ 0.66821961  0.54817207  0.30197415]

[ 0.11629904  0.85684903  0.7088385 ]]

0.570794546829


为了更直观的描述,这次在图上做一个展示,由于图像上绘制二维比较直观,所以数据调整到了二维,选取100个点绘制,聚类类别为3类


from sklearn.cluster import KMeans

from sklearn.externals import joblib

from sklearn import cluster

import numpy as np

import matplotlib.pyplot as plt

 

data = np.random.rand(100,2)

estimator=KMeans(n_clusters=3)

res=estimator.fit_predict(data)

lable_pred=estimator.labels_

centroids=estimator.cluster_centers_

inertia=estimator.inertia_

#print res

print lable_pred

print centroids

print inertia

 

for i in range(len(data)):

    if int(lable_pred[i])==0:

        plt.scatter(data[i][0],data[i][1],color='red')

    if int(lable_pred[i])==1:

        plt.scatter(data[i][0],data[i][1],color='black')

    if int(lable_pred[i])==2:

        plt.scatter(data[i][0],data[i][1],color='blue')

plt.show()


可以看到聚类效果还是不错的,对k-means的聚类效率进行了一个测试,将维度扩宽到50维



对于百万级的数据,拟合时间还是能够接受的,可见效率还是不错,对模型的保存与其它的机器学习算法模型保存类似


from sklearn.externals import joblib

joblib.dump(km,"model/km_model.m")


看完本文有收获?请转发分享给更多人

关注「大数据与机器学习文摘」,成为Top 1%

登录查看更多
1

相关内容

【实用书】学习用Python编写代码进行数据分析,103页pdf
专知会员服务
192+阅读 · 2020年6月29日
【2020新书】使用高级C# 提升你的编程技能,412页pdf
专知会员服务
57+阅读 · 2020年6月26日
专知会员服务
139+阅读 · 2020年5月19日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
107+阅读 · 2020年5月3日
算法与数据结构Python,369页pdf
专知会员服务
161+阅读 · 2020年3月4日
【新书】Pro 机器学习算法Python实现,379页pdf
专知会员服务
198+阅读 · 2020年2月11日
Transformer文本分类代码
专知会员服务
116+阅读 · 2020年2月3日
【新书】Python中的经典计算机科学问题,224页PDF
专知会员服务
52+阅读 · 2019年12月31日
sklearn 与分类算法
人工智能头条
7+阅读 · 2019年3月12日
实战 | 用Python做图像处理(三)
七月在线实验室
15+阅读 · 2018年5月29日
实战 | 用Python做图像处理(二)
七月在线实验室
17+阅读 · 2018年5月25日
教程 | 一文简述多种无监督聚类算法的Python实现
机器之心
4+阅读 · 2018年5月22日
免费|机器学习算法Python实现
全球人工智能
5+阅读 · 2018年1月2日
动手写机器学习算法:K-Means聚类算法
七月在线实验室
5+阅读 · 2017年12月6日
机器学习(28)【降维】之sklearn中PCA库讲解与实战
机器学习算法与Python学习
8+阅读 · 2017年11月27日
机器学习(26)之K-Means实战与调优详解
机器学习算法与Python学习
4+阅读 · 2017年11月19日
机器学习(7)之感知机python实现
机器学习算法与Python学习
4+阅读 · 2017年7月23日
Embedding Logical Queries on Knowledge Graphs
Arxiv
3+阅读 · 2019年2月19日
Arxiv
26+阅读 · 2018年2月27日
Arxiv
3+阅读 · 2017年7月6日
VIP会员
相关VIP内容
【实用书】学习用Python编写代码进行数据分析,103页pdf
专知会员服务
192+阅读 · 2020年6月29日
【2020新书】使用高级C# 提升你的编程技能,412页pdf
专知会员服务
57+阅读 · 2020年6月26日
专知会员服务
139+阅读 · 2020年5月19日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
107+阅读 · 2020年5月3日
算法与数据结构Python,369页pdf
专知会员服务
161+阅读 · 2020年3月4日
【新书】Pro 机器学习算法Python实现,379页pdf
专知会员服务
198+阅读 · 2020年2月11日
Transformer文本分类代码
专知会员服务
116+阅读 · 2020年2月3日
【新书】Python中的经典计算机科学问题,224页PDF
专知会员服务
52+阅读 · 2019年12月31日
相关资讯
sklearn 与分类算法
人工智能头条
7+阅读 · 2019年3月12日
实战 | 用Python做图像处理(三)
七月在线实验室
15+阅读 · 2018年5月29日
实战 | 用Python做图像处理(二)
七月在线实验室
17+阅读 · 2018年5月25日
教程 | 一文简述多种无监督聚类算法的Python实现
机器之心
4+阅读 · 2018年5月22日
免费|机器学习算法Python实现
全球人工智能
5+阅读 · 2018年1月2日
动手写机器学习算法:K-Means聚类算法
七月在线实验室
5+阅读 · 2017年12月6日
机器学习(28)【降维】之sklearn中PCA库讲解与实战
机器学习算法与Python学习
8+阅读 · 2017年11月27日
机器学习(26)之K-Means实战与调优详解
机器学习算法与Python学习
4+阅读 · 2017年11月19日
机器学习(7)之感知机python实现
机器学习算法与Python学习
4+阅读 · 2017年7月23日
Top
微信扫码咨询专知VIP会员