标签:iter 自动识别 字段名 href ilo 效率 replace exce date
很多人都分不清Numpy,Scipy,pandas三个库的区别。
在这里简单分别一下:
目前来说,随着Pandas更新,Numpy大部分功能已经直接和Pandas融合了。
如果想了解Numpy的话,可点击阅读《Python之Numpy的基础及进阶函数(图文)》。
# 导入别名 import pandas as pd pd.Series([1,2,3,4])
read_csv(filepath_or_buffer, sep=‘,‘, delimiter=None, header=‘infer‘, names=None, index_col=None, usecols=None, squeeze=False, prefix=None, mangle_dupe_cols=True, dtype=None, engine=None, converters=None, true_values=None, false_values=None, skipinitialspace=False, skiprows=None, nrows=None, na_values=None, keep_default_na=True, na_filter=True, verbose=False, skip_blank_lines=True, parse_dates=False, infer_datetime_format=False, keep_date_col=False, date_parser=None, dayfirst=False, iterator=False, chunksize=None, compression=‘infer‘, thousands=None, decimal=b‘.‘, lineterminator=None, quotechar=‘"‘, quoting=0, escapechar=None, comment=None, encoding=None, dialect=None, tupleize_cols=False, error_bad_lines=True, warn_bad_lines=True, skipfooter=0, skip_footer=0, doublequote=True, delim_whitespace=False, as_recarray=False, compact_ints=False, use_unsigned=False, low_memory=True, buffer_lines=None, memory_map=False, float_precision=None)
# 读取csv,参数可删 data = pd.read_csv(‘./data/test.csv‘,sep = ‘,‘,header = ‘infer‘,names = range(5,18),index_col = [0,2],engine = ‘python‘,encoding = ‘gbk‘,nrows = 100)
# 读取csv,参数可删 data = pd.read_table(‘./data/test.csv‘,sep = ‘,‘,header = ‘infer‘,names = range(5,18),index_col = [0,2],engine = ‘python‘,encoding = ‘gbk‘,nrows = 100)
read_excel(io, sheetname=0, header=0, skiprows=None, skip_footer=0, index_col=None, names=None, parse_cols=None, parse_dates=False, date_parser=None, na_values=None, thousands=None, convert_float=True, has_index_names=None, converters=None, dtype=None, true_values=None, false_values=None, engine=None, squeeze=False, **kwds)
data = pd.read_excel(‘./data/test.xls‘,sheetname=‘原始数据‘,header = 0,index_col = [5,6])
建议:用前两个
# 读取数据库 from sqlalchemy import create_engine conn = create_engine(‘mysql+pymysql://root:root@127.0.0.1/test?charset=utf8‘, encoding=‘utf-8‘, echo=True) # data1 = pd.read_sql_query(‘select * from data‘, con=conn) # print(data1.head()) data2 = pd.read_sql_table(‘data‘, con=conn) print(data2.tail()) print(data2[‘X‘][1])
‘mysql+pymysql://root:root@127.0.0.1/test?charset=utf8‘
连接器://用户名:密码@数据库所在IP/访问的数据库名称?字符集
DataFrame.to_csv(path_or_buf=None, sep=‘,‘, na_rep=‘‘, float_format=None, columns=None, header=True, index=True, index_label=None, mode=‘w‘, encoding=None, compression=None, quoting=None, quotechar=‘"‘, line_terminator=‘\n‘, chunksize=None, tupleize_cols=False, date_format=None, doublequote=True, escapechar=None, decimal=‘.‘)
import pandas as pd data.to_csv(‘data.csv‘,index = False)
DataFrame.to_excel(excel_writer, sheet_name=‘Sheet1‘, na_rep=‘‘, float_format=None, columns=None, header=True, index=True, index_label=None, startrow=0, startcol=0, engine=None, merge_cells=True, encoding=None, inf_rep=‘inf‘, verbose=True, freeze_panes=None)
data.to_excel(‘data.xlsx‘,index=False)
DataFrame.to_sql(name, con, flavor=None, schema=None, if_exists=‘fail‘, index=True, index_label=None, chunksize=None, dtype=None)
from sqlalchemy import create_engine conn =create_engine(‘mysql+pymysql://root:root@127.0.0.1/data?charset=utf8‘, encoding=‘utf-8‘, echo=True) data.to_sql(‘data‘,con = conn)
# 查看前5行,5为数目,不是索引,默认为5 data.head() # 查看最后6行,6为数目,不是索引,默认为5 data.tail(6) # 查看数据的形状 data.shape # 查看数据的列数,0为行1位列 data.shape[1] # 查看所有的列名 data.columns # 查看索引 data.index # 查看每一列数据的类型 data.dtypes # 查看数据的维度 data.ndim
## 查看数据基本情况 data.describe() ‘‘‘ count:非空值的数目 mean:数值型数据的均值 std:数值型数据的标准差 min:数值型数据的最小值 25%:数值型数据的下四分位数 50%:数值型数据的中位数 75%:数值型数据的上四分位数 max:数值型数据的最大值 ‘‘‘
# 取出单独某一列 X = data[‘X‘] # 取出多列 XY = data[[‘X‘,‘Y‘]] # 取出某列的某一行 data[‘X‘][1] # 取出某列的某几行 data[‘X‘][:10] # 取出某几列的某几行 data[[‘X‘,‘Y‘]][:10]
# loc方法索引 ‘‘‘ DataFrame.loc[行名,列名] ‘‘‘ # 取出某几列的某一行 data.loc[1,[‘X‘,‘月份‘]] # 取出某几列的某几行(连续) data.loc[1:5,[‘X‘,‘月份‘]] # 取出某几列的某几行(连续) data.loc[[1,3,5],[‘X‘,‘月份‘]] # 取出 x ,FFMC ,DC的0-20行所有索引名称为偶数的数据 data.loc[range(0,21,2),[‘X‘,‘FFMC‘,‘DC‘]]
# iloc方法索引 ‘‘‘ DataFrame.iloc[行位置,列位置] ‘‘‘ # 取出某几列的某一行 data.iloc[1,[1,4]] # 取出列位置为偶数,行位置为0-20的偶数的数据 data.iloc[0:21:2,0:data.shape[1]:2]
# ix方法索引 ‘‘‘ DataFrame.ix[行位置/行名,列位置/列名] ‘‘‘ ## 取出某几列的某一行 data.ix[1:4,[1,4]] data.ix[1:4,1:4]
综合上述所言,不建议使用ix,容易发生混淆的情况,并且运行效率低于loc和iloc,pandas考虑在后期会移除这一索引方法
# 修改列名 list1 = list(data.columns) list1[0] = ‘第一列‘ data.columns = list1 data[‘新增列‘] = True data.loc[‘新增一行‘,:] = True data.drop(‘新增列‘,axis=1,inplace=True) data.drop(‘新增一行‘,axis=0,inplace=True)
import pandas as pd data = pd.read_excel(‘./data/test.xls‘) # 时间类型数据转换 data[‘发生时间‘] = pd.to_datetime(data[‘发生时间‘],format=‘%Y%m%d%H%M%S‘) # 提取day data.loc[1,‘发生时间‘].day # 提取日期信息新建一列 data[‘日期‘] = [i.day for i in data[‘发生时间‘]] year_data = [i.is_leap_year for i in data[‘发生时间‘]]
# 分组 group1 = data.groupby(‘性别‘) group2 = data.groupby([‘入职时间‘,‘性别‘]) # 查看有多少组 group1.size()
用groupby方法分组后的结果并不能直接查看,而是被存在内存中,输出的是内存地址。实际上分组后的数据对 象GroupBy类似Series与DataFrame,是pandas提供的一种对象。
Grouped.agg(函数或包含了字段名和函数的字典)
# 第一种情况 group[[‘年龄‘,‘工资‘]].agg(min) # 对不同的列进行不同的聚合操作 group.agg({‘年龄‘:max,‘工资‘:sum}) # 上述过程中使用的函数均为系统math库所带的函数,若需要使用pandas的函数则需要做如下操作 group.agg({‘年龄‘:lambda x:x.max(),‘工资‘:lambda x:x.sum()})
Grouped.apply(函数操作)
只能对所有列执行同一种操作
group.apply(lambda x:x.max())
grouped.transform(函数操作)
transform操作时的对象不再是每一组,而是每一个元素
# 每一空添加字符 group[‘年龄‘].transform(lambda x: x.astype(str)+‘岁‘).head() # 组内标准化 group1[‘工资‘].transform(lambda x:(x.mean()-x.min())/(x.max()-x.min())).head()
标签:iter 自动识别 字段名 href ilo 效率 replace exce date
原文地址:https://www.cnblogs.com/WoLykos/p/9349581.html