处理数据快准狠

1）查看DataFrame数据及属性

df_obj = DataFrame()       #创建DataFrame对象
df_obj.dtypes              #查看各行的数据格式
df_obj['列名'].astype(int) #转换某列的数据类型
df_obj.head()              #查看前几行的数据,默认前5行
df_obj.tail()              #查看后几行的数据,默认后5行
df_obj.index               #查看索引
df_obj.columns             #查看列名
df_obj.values              #查看数据值d
f_obj.describe()           #描述性统计
df_obj.T                   #转置d
f_obj.sort_values(by=['',''])#同上
me选择数据:
df_obj.ix[1:3] #获取1-3行的数据,该操作叫切片操作,获取行数据
df_obj.ix[columns_index] #获取列的数据
df_obj.ix[1:3，[1,3]]#获取1列3列的1~3行数据
df_obj[columns].drop_duplicates() #剔除重复行数据

3）使用DataFrame重置数据:

df_obj.ix[1:3，[1,3]]=1#所选位置数据替换为1

4）使用DataFrame筛选数据(类似SQL中的WHERE):

alist = ['023-18996609823']
 #将要过滤的数据放入字典中,使用isin对数据进行筛选,
 #返回行索引以及每行筛选的结果,若匹配则返回turedf_obj['用户号码'].isin(alist)
df_obj[df_obj['用户号码'].isin(alist)] #获取匹配结果为ture的行

5）使用DataFrame模糊筛选数据(类似SQL中的LIKE):

#使用正则表达式进行模糊匹配,*匹配0或无限次,?匹配0或1次
df_obj[df_obj['套餐'].str.contains(r'.*?语音CDMA.*')] 

6）使用DataFrame进行数据转换(后期补充说明)

#可以使用正则表达式
df_obj['支局_维护线'] = df_obj['支局_维护线'].str.replace('巫溪分公司(.{2,})支局','\\1')

可以设置take_last=ture 保留最后一个,或保留开始一个.补充说明:注意take_last=ture已过时,请使用keep=’last’ 
7）使用pandas中读取数据:

#首先输入csv文本地址,然后分割符选择等等
read_csv('D:\LQJ.csv',sep=';',nrows=2) 
df.to_excel('foo.xlsx',sheet_name='Sheet1');
#写入读取excel数据，pd.read_excel读取的数据是以DataFrame形式存储
pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])
df.to_hdf('foo.h5','df');pd.read_hdf('foo.h5','df')#写入读取HDF5数据

8）使用pandas聚合数据(类似SQL中的GROUP BY 或HAVING):

data_obj['用户标识'].groupby(data_obj['支局_维护线'])
data_obj.groupby('支局_维护线')['用户标识'] #上面的简单写
#按支局进行汇总对用户标识进行计数,并将计数列的列名命名为ADSL
adsl_obj.groupby('支局_维护线')['用户标识'].agg([('ADSL','count')])

9）使用pandas合并数据集(类似SQL中的JOIN):

# mxj_obj1和mxj_obj2将用户标识当成重叠列的键合并两个数据集,
#inner表示取两个数据集的交集.
merge(mxj_obj2, mxj_obj1 ,on='用户标识',how='inner')

10）清理数据

df[df.isnull()]
df[df.notnull()]
df.dropna()#将所有含有nan项的row删除
df.dropna(axis=1,thresh=3) #将在列的方向上三个为NaN的项删除
df.dropna(how='ALL')#将全部项都是nan的row删除填充值
df.fillna(0)
df.fillna({1:0,2:0.5}) #对第一列nan值赋0，第二列赋值0.5
df.fillna(method='ffill') #在列方向上以前一个值作为值赋给NaN

实例

1. 读取excel数据 
代码如下

import pandas as pd
# 读取高炉数据，注意文件名不能为中文
data=pd.read_excel('gaolushuju_201501-03.xlsx', '201501', index_col=None, na_values=['NA'])
print data

测试结果如下

2. 切片处理，选取行或列，修改数据 
代码如下：

data_1row=data.ix[1]data_5row_2col=data.ix[0:5,[u'燃料比',u'顶温西南']
print data_1row,data_5row_2coldata_5row_2col.ix[0:1,0:2]=3

测试结果如下：

格式说明，data_5row_2col.ix[0:1,0:2]，data_5row_2col.ix[0:1,[0,2]],选取部分行和列需加”[]” 
3. 排序 
代码如下：

print data_1row.sort_values()
print data_5row_2col.sort_values(by=u'燃料比')

测试结果如下：

4. 删除重复的行 
代码如下：

print data_5row_2col[u'顶温西南'].drop_duplicates()#剔除重复行数据

测试结果如下：

说明：从测试结果3中可以看出顶温西南index=2的数据与index=4的数据重复，测试结果4显示将index=4的顶温西南数据删除

推荐阅读：

python 数据清洗篇

Python正则表达式指南

Python 禅道

python学习笔记

用Python来分析股票|发现炒股软件里惊人内幕

诺贝尔奖得主教你如何分配炒股仓位 | python量化系列

(视频讲解！！！)python量化 | 10年翻400倍的炒股策略

Python初探之一

Python常用的一些技巧

写给Python初学者的设计模式入门

Python在金融，数据分析，和人工智能中的应用

Python的编码命名规则

python 数组的del ,remove,pop区别

[笔记]使用Python一步一步地来进行数据分析

提升 Python 编程效率的十点建议

Python的zip函数

如何优雅的使用Python

Python初学者的17个技巧

Python 环境搭建

文本编辑器你容易忽视的细节

Python生态系统

Python 使用断言的最佳时机

Python在金融，数据分析，和人工智能中的应用

爬虫-漫画喵的100行逆袭

Thanks from:http://blog.csdn.net/ly_ysys629/article/details/54428838