标签：mode man play move can level mile pdf nav
Pandas 快速入门
Pandas一般导入文件为。源地址为：http://pandas.pydata.org/pandas-docs/stable/10min.html#min
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
创建Series，在pandas中，Series是代labels的数组。 首先用list创建数据，pandas会自动创建labels
s = pd.Series([1,3,5,np.nan,6,8])
s
通过传递numpy数组，使用datetime索引和标记列来创建DataFrame：
dates = pd.date_range(‘20130101‘, periods=6)
dates
df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list(‘ABCD‘))
df
通过传递可以转换为类似Series的对象的Dict来创建DataFrame。
df2 = pd.DataFrame({ ‘A‘ : 1.,
‘B‘ : pd.Timestamp(‘20130102‘),
‘C‘ : pd.Series(1,index=list(range(4)),dtype=‘float32‘),
‘D‘ : np.array([3] * 4,dtype=‘int32‘),
‘E‘ : pd.Categorical(["test","train","test","train"]),
‘F‘ : ‘foo‘ })
df2
显示其类型：
df2.dtypes
查看开始或结尾几行数据
df.head(2)
df.tail(3)
查看索引、列名称、numpy数据
df.index
df.columns
df.values
描述显示数据的快速统计摘要
df.describe()
数据转置：
df.T
数据按轴排序
df.sort_index(axis=1, ascending=False)
按值排序
df.sort_values(by=‘B‘)
注意：对于标准的Python/Numpy方法，选择与设置元素是直观并且易于交互的。但，对于生成代码，建议采用Pandas方法， .at, .iat, .loc, .iloc and .ix.
选择标记为‘A’的一列
df[‘A‘]
通过[]切分行：
df[0:3]
df[‘20130102‘:‘20130104‘]
通过label获取对应数据
df.loc[dates[0]]
通过列label选择多列数据
df.loc[:,[‘A‘,‘B‘]]
通过行label与列label选择数据
df.loc[‘20130102‘:‘20130104‘,[‘A‘,‘B‘]]
降低返回对象的维度
df.loc[‘20130102‘, [‘A‘,‘B‘]]
获得标量值
df.loc[dates[0], ‘A‘]
快速获得标量（同前一个方法）
df.at[dates[0], ‘A‘]
通过传递整数位置选择数据
df.iloc[3]
通过行与列的位置选择数据，类似于python与numpy
df.iloc[3:5, 0:2]
通过list来选择特定行或列的元素
df.iloc[[0, 2, 4], [0, 2]]
通过list选择行
df.iloc[1:3,:]
通过list选择列
df.iloc[:,1:3]
通过行列元素选择特定的元素
df.iloc[1, 1]
快速访问某一个元素（同上一个方法）
df.iat[1,1]
用单列的值来选择元素
df[df.A > 0]
选择全部数据满足条件的数据
df[df > 0]
通过isin()方法过滤数据
df2 = df.copy()
df2[‘E‘] = [‘one‘, ‘two‘, ‘three‘, ‘four‘, ‘five‘, ‘six‘]
df2
df2[df2[‘E‘].isin([‘two‘,‘four‘])]
设置一个新列会根据索引自动对齐数据
s1 = pd.Series([1,2,3,4,5,6], index = pd.date_range(‘20130102‘, periods = 6))
s1
df[‘F‘] = s1
df
通过label设置数据
df.at[dates[0],‘A‘] = 0
df
通过位置设置数据
df.iat[0, 1] = 0
df
通过numpy设置整列数据
df.loc[:,‘D‘] = np.array([5] * len(df))
df
通过where操作设置数据
df2 = df.copy()
df2[df2 > 0] = -df2
df2
Pandas基本采用np.nan表示缺失数据，缺失数据默认不会参加运算。
重新索引允许您更改/添加/删除指定行或列上的索引。 这将返回数据的副本。
df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + [‘E‘])
df1.loc[dates[0]:dates[1],‘E‘] = 1
df1
舍去任何包含缺失数据的行
df1.dropna(how=‘any‘)
填充缺失数据
df1.fillna(value=5)
返回布尔数据，如果为nan返回true，否则返回false
pd.isnull(df1)
概率统计操作
这些操作一般不包括缺失数据
列方向均值操作：
df.mean()
行方向均值
df.mean(1)
操作具有不同维度和需要对齐的对象。 此外，Pandas会沿着指定的维度自动广播。
s = pd.Series([1,3,5,np.nan,6,8], index=dates).shift(2)
s
df.sub(s, axis=‘index‘)
应用方程到数据
df.apply(np.cumsum)
df.apply(lambda x: x.max() - x.min())
s = pd.Series(np.random.randint(0, 7, size=10))
s
s.value_counts()
Series在string中提供配置了一组字符串处理方法，可以方便地对数组的每个元素进行操作。
s = pd.Series([‘A‘, ‘B‘, ‘C‘, ‘Aaba‘, ‘Baca‘, np.nan, ‘CABA‘, ‘dog‘, ‘cat‘])
s
s.str.lower()
Pandas提供一系列合并数据的操作，例如：Series, DataFrame, and Panel操作
df = pd.DataFrame(np.random.randn(10, 4))
df
pieces = [df[:3], df[3:7], df[7:]]
pd.concat(pieces)
left = pd.DataFrame({‘key‘: [‘foo‘, ‘foo‘], ‘lval‘: [1, 2]})
right = pd.DataFrame({‘key‘: [‘foo‘, ‘foo‘], ‘rval‘: [4, 5]})
left
right
pd.merge(left, right, on=‘key‘)
另一种方式
left= pd.DataFrame({‘key‘: [‘foo‘, ‘bar‘], ‘lval‘: [1, 2]})
right = pd.DataFrame({‘key‘: [‘foo‘, ‘bar‘], ‘rval‘: [4, 5]})
left
right
pd.merge(left, right, on=‘key‘)
df = pd.DataFrame(np.random.randn(8, 4), columns=[‘A‘,‘B‘,‘C‘,‘D‘])
df
s = df.iloc[3]
df.append(s, ignore_index=True)
group by操作可以分为如下操作：1.基于某些规则分组数据；
df = pd.DataFrame({‘A‘ : [‘foo‘, ‘bar‘, ‘foo‘, ‘bar‘, ‘foo‘, ‘bar‘, ‘foo‘, ‘foo‘],
‘B‘ : [‘one‘, ‘one‘, ‘two‘, ‘three‘, ‘two‘, ‘two‘, ‘one‘, ‘three‘],
‘C‘ : np.random.randn(8),
‘D‘ : np.random.randn(8)})
df
2.对每组数据应用方程处理，例如：sum
df.groupby(‘A‘).sum()
3.组合数据结果
df.groupby([‘A‘,‘B‘]).sum()
tuples = list(zip(*[[‘bar‘, ‘bar‘, ‘baz‘, ‘baz‘, ‘foo‘, ‘foo‘, ‘qux‘, ‘qux‘],
[‘one‘, ‘two‘, ‘one‘, ‘two‘, ‘one‘, ‘two‘, ‘one‘, ‘two‘]]))
index = pd.MultiIndex.from_tuples(tuples, names=[‘first‘, ‘second‘])
df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=[‘A‘, ‘B‘])
df2 = df[:4]
df2
stack()方法压缩DataFrame列中数据
stacked = df2.stack()
stacked
unstack()方法，是stack()方法的反操作，例如：
stacked.unstack()
stacked.unstack(1)
stacked.unstack(0)
数据透视表
df = pd.DataFrame({‘A‘ : [‘one‘, ‘one‘, ‘two‘, ‘three‘] * 3,
‘B‘ : [‘A‘, ‘B‘, ‘C‘] * 4,
‘C‘ : [‘foo‘, ‘foo‘, ‘foo‘, ‘bar‘, ‘bar‘, ‘bar‘] * 2,
‘D‘ : np.random.randn(12),
‘E‘ : np.random.randn(12)})
df
可以获取透视数据：
pd.pivot_table(df, values=‘D‘, index=[‘A‘, ‘B‘], columns=[‘C‘])
Pandas具有简单，强大和高效的功能，用于在频率转换期间执行重采样操作
rng = pd.date_range(‘1/1/2012‘, periods=100, freq=‘S‘)
ts = pd.Series(np.random.randint(0, 500, len(rng)), index=rng)
ts.resample(‘5Min‘).sum()
时区表示
rng = pd.date_range(‘3/6/2012 00:00‘, periods=5, freq=‘D‘)
ts = pd.Series(np.random.randn(len(rng)), rng)
ts
ts_utc = ts.tz_localize(‘UTC‘)
ts_utc
转换成其他时区
ts_utc.tz_convert(‘US/Eastern‘)
在时间跨度表示之间转换
rng = pd.date_range(‘1/1/2012‘, periods=5, freq=‘M‘)
ts = pd.Series(np.random.randn(len(rng)), index=rng)
ts
ps = ts.to_period()
ps
ps.to_timestamp()
在周期和时间戳之间进行转换，可以使用一些方便的数学函数。
prng = pd.period_range(‘1990Q1‘, ‘2000Q4‘, freq=‘Q-NOV‘)
ts = pd.Series(np.random.randn(len(prng)), prng)
ts.index = (prng.asfreq(‘M‘, ‘e‘) + 1).asfreq(‘H‘, ‘s‘) + 9
ts.head()
pandas自0.15版本后，Pandas包含了Categorical Data
df = pd.DataFrame({"id":[1,2,3,4,5,6], "raw_grade":[‘a‘, ‘b‘, ‘b‘, ‘a‘, ‘a‘, ‘e‘]})
df["grade"] = df["raw_grade"].astype("category")
df["grade"]
将Categorical Data重命名为更有意义的名称
df["grade"].cat.categories = ["very good", "good", "very bad"]
df["grade"] = df["grade"].cat.set_categories(["very bad", "bad", "medium", "good", "very good"])
df["grade"]
排序
df.sort_values(by="grade")
按分类列分组还显示空类别：
df.groupby("grade").size()
ts = pd.Series(np.random.randn(1000), index=pd.date_range(‘1/1/2000‘, periods=1000))
ts = ts.cumsum()
ts.plot()
df = pd.DataFrame(np.random.randn(1000, 4), index=ts.index,
columns=[‘A‘, ‘B‘, ‘C‘, ‘D‘])
df = df.cumsum()
plt.figure(); df.plot(); plt.legend(loc=‘best‘)
df.to_csv(‘foo.csv‘)
pd.read_csv(‘foo.csv‘)
df.to_hdf(‘foo.h5‘,‘df‘)
pd.read_hdf(‘foo.h5‘,‘df‘)
df.to_excel(‘foo.xlsx‘, sheet_name=‘Sheet1‘)
pd.read_excel(‘foo.xlsx‘, ‘Sheet1‘, index_col=None, na_values=[‘NA‘])
标签：mode man play move can level mile pdf nav
原文地址：http://www.cnblogs.com/hgl0417/p/7625928.html
