python padas 学习

import matplotlib
from pandas import DataFrame
import numpy as np
import pandas as pd
import MySQLdb
import matplotlib.pyplot as plt

#df =Padaas dataframe 对象(二维标记数组)
#s =Pandas series对象(一维标记数组)
db = MySQLdb.connect(host="localhost", port=3306, user="root", passwd="1234", db=‘spj‘,charset="utf8")#连接数据库
filename = ‘count_day.csv‘#文件路径名
query = ‘select * from j‘#sql查询语句
‘‘‘
#导入数据

pd.read_excel(filename)#从excel文件导入数据
pd.read_table(filename)#和csv一样，必须界定分隔符
pd.read_json(json-string)#从json格式的字符串导入数据
pd.read_html(url)#解析url，html文件，导入其中的tables表格
pd.read_clipboard()#从粘贴板获取内容，传给read_tables()

#从sql数据库导入数据
df=pd.read_sql(query,db)

#从csv导入数据
#index_col为指定数据中哪一列作为Dataframe的行索引
#分隔符默认为,分隔
df = pd.read_csv(filename,sep=‘,‘,header=None,index_col=0)

#导出数据
df.to_csv(‘ans.csv‘,index=False,sep=‘,‘)#导出数据到csv
df.to_excel(filename)#导出数据到excel
df.to_sql(table_name,db)#导出数据到sql
df.to_json(filename)#以json格式导出数据到文本文件

#自己构造dataframe数据
df = pd.DataFrame([[1,2,3],[4,5,6]],columns=[‘f1‘,‘f2‘,‘f3‘])#columns是列索引
df = pd.DataFrame({‘user-id‘:[‘行1‘,‘行2‘,‘行3‘],‘item_id‘:[‘商品1‘,‘商品2‘,‘商品3‘]})#按列构造
df = pd.DataFrame([{‘user-id‘:‘用户1‘,‘item-id‘:‘商品1‘},{‘user-id‘:‘用户2‘}])#按行构造

#查看数据
show = df.head(1)#head(n)，查看前n行
show = df.tail(1)#查看最后n列
show = df.shape#查看行数和列数
show = df.info()#查看索引，数据类型和内存信息
show = df.describe()#查看数值型列的汇总信息
show = df[‘item-id‘].value_counts(dropna=False)#查看Series对象的唯一值和计数
show = df[‘item-id‘].unique()#查看Series不重复的值

#数据选取
s = df[‘user-id‘]#(name)获取一列的数据，返回值为Series
df = df[[‘user-id‘,‘item-id‘]]#(list)选取某几列,返回为Dataframe
show = s.iloc[0]#按位置选取数据（Serieas可以省略df[‘user_id‘][0]）
show = df.iloc[0,0:2]#(row,col)返回第一行,从0到2列
show = s.loc[‘item-id‘]#按索引选取数据
show = df.sample(frac=0.5)#按比例随机采样
show = df.sample(n=len(df))#指定采样个数
‘‘‘

#自己构造dataframe数据
df = pd.DataFrame([[1,2,3],[4,5,6]],columns=[‘f1‘,‘f2‘,‘f3‘])#columns是列索引
df = pd.DataFrame([{‘user-id‘:‘用户1‘,‘item-id‘:1},{‘user-id‘:‘用户2‘}])#按行构造
df = pd.DataFrame({‘user_id‘:[‘行1‘,‘行1‘,‘行3‘],‘item_id‘:[‘商品1‘,‘商品2‘,‘商品3‘],‘test_id‘:[12,11,4]})#按列构造
‘‘‘
#数据整理
show = df.isnull()#查看对象中的空值,返回一个bool类型
show = df.notnull()#查看对象中的非空值,返回一个bool类型
show = df.dropna(axis=0)#删除所有包含空格的行
show = df.dropna(axis=1)#删除所有包含空格的列
show = df.dropna(axis=0,thresh=2)#删除所有小于(thresh)个非空值的行
show = df.fillna(‘商品id‘)#对所有空值填充，可指定哪几列(df[].fillna())
show = df.fillna(df.mode().iloc[0])#众值填充
show = df.fillna(df.median())#中位数填充
show = df["item-id"].fillna(‘填充‘)#对某一列填充

show = df["item-id"].astype(float)#更改某一列的数据类型
show = df["item-id"].replace(1,‘one‘)#用‘one‘代替所有等于1的值
show = df.rename(columns=lambda x:x+"1")#批量更改列名
show = df.rename(index=lambda x:x+"1")#批量更改索引
show = df.rename(columns={‘item-id‘:‘商品id‘})#选择性更改列名
show = df.set_index(‘item-id‘,append=False) #将某一列变成索引,append=true添加新索引

df1 = df.sample(n=1)
df2 = df.sample(frac=0.5)商品种类
df3 = pd.concat([df1,df2])#合并两个数据集
show = df3.reset_index(drop=False)#重置索引,drop=true舍弃以前的索引

#数据处理
show = df[df[‘test_id‘]>4]#选择‘test_id‘列>4的行
show = df.sort_values(by=‘test_id‘,ascending=True)#按照列‘test_id’排序，默认升序
show = df.sort_values(by=[‘test_id‘,‘item_id‘],ascending=[True,False])#先按列‘test_id’排升序，后按‘item_id‘排降序
show = df.groupby(‘user_id‘)[‘test_id‘].apply(np.mean)#按‘user_id’分组后,对其‘test_id‘求均值
show = df.pivot_table(index=‘user_id‘,values=[‘item_id‘,‘test_id‘],aggfunc=min)#按索引分组,值,每组里面的最小值

show = df.groupby(‘user_id‘,as_index=False)[‘test_id‘].agg({‘商品种类‘:‘count‘,‘商品总数‘:‘sum‘})
#先分组，根据‘test_id‘字段做统计，as_index默认将依据分组字段作为索引
show = df[‘test_id‘].apply(np.mean)#对df中的每一列应用函数np.mean
show = df.apply(np.max,axis=1)#对df中的每一列应用函数np.mean(必类型统一)

for index,row in df.iterrows():
    #index索引，row每一行，输出时，选取其中的一个或几个字段输出
    print(index,row[‘user_id‘],row[‘test_id‘])

for key,df in df.groupby(‘user_id‘):
    #key=‘user_id‘,df是分组后的数据
    print(key,len(df),df)

#构造分组特征，对‘user_id‘分组,对一个S对象，计算等级(rank)
#rank:http://pandas.pydata.org/pandas-docs/stable/generated/pandas.Series.rank.html
show = df.groupby(‘user_id‘,as_index=False)[‘test_id‘].rank(ascending=False,method=‘average‘)

#数据合并
df = df1.append(df2)#将df2中的行添加到df1的尾部
df = pd.concat([df1,df2],axis=1)#按列合并（axis=1）,按行合并（axis=0）(都要保证对应的行和列是一样的)
df = pd.merge(df1,df2,on=‘user_id‘,how=‘inner‘)#对df1,df2的列进行类似SQL的join操作


#集合差集计算
df1 = pd.DataFrame({‘user‘:[1,2,3,4],‘id‘:[101,102,103,104]})
df2 = pd.DataFrame({‘user‘:[1,2]})
df2[‘flag‘]=1#设置一个标志列
df = pd.merge(df1,df2,on=‘user‘,how=‘left‘)#左连接
df = df[df.flag.isnull()].drop(‘flag‘,axis=1)#对df1中出现的df2删除行，并且删除‘flag‘列

#统计函数
show = df.mean()#返回所有列的均值
show = df.corr()#返回列于列的关系函数
show = df.user_id.corr(df.test_id)#
show = df.count()#返回每一列非空值的个数
show = df.max()#每一列最大值
show = df.min()#每一列最小值
show = df.median()#返回每一列的中位数
show = df.std()#返回每一列的标准差
show = df.dtypes()#查看数据类型
show = df.isnull.sum()#查看每一列的空值个数
‘‘‘
#画图函数
zhfont = matplotlib.font_manager.FontProperties(fname=r‘C:/Windows/Fonts/FZYTK.TTF‘) # chinese

#直方图
hist = df[‘user_id‘].hist()#查看变量分布
hist.plot()

#折线图
s = df[‘test_id‘]
s.plot()
df.plot()

#柱图
fig, axes = plt.subplots(2, 1)
s = df[‘test_id‘]
s.plot(kind=‘bar‘, ax=axes[0], color=‘k‘, alpha=0.7)
s.plot(kind=‘barh‘, ax=axes[1], color=‘k‘, alpha=0.7)


plt.legend(prop=zhfont)
plt.show()