pandas 新手指引

# 10 Minutes to pandas ｐａｎｄａｓ入门教程，面向新手，如需高级教程，移步[pandas cookbook](http://pandas.pydata.org/pandas-docs/stable/cookbook.html#cookbook) 按照约定，一般按照如下形式对ｐａｎｄａｓ进行导入

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 使用ｉｐｙｔｈｏｎ　ｎｏｔｅｂｏｏｋ绘图，加入如下命令
%matplotlib inline

## pandas 对象的创建 通过ｐｙｔｈｏｎ列表构造一个ｐａｎｄａｓ的Ｓｅｒｉｅｓ对象

# Series 自动生成索引
s = pd.Series([1,2,3,np.nan, 4,5])
s

0 1.0 1 2.0 2 3.0 3 NaN 4 4.0 5 5.0 dtype: float64 使用numpy的数组创建一个ｐａｎｄａｓ的ＤａｔａＦｒａｍｅ，指定日期序列为行索引，指定’A’,’B’,’C’,’D’为列索引

dates = pd.date_range(‘20160101‘, periods=6)
dates

DatetimeIndex([‘2016-01-01’, ‘2016-01-02’, ‘2016-01-03’, ‘2016-01-04’, ‘2016-01-05’, ‘2016-01-06’], dtype=’datetime64[ns]’, freq=’D’)

df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list(‘ABCD‘))

df

或者，可以通过传递字典来创建Ｄａｔａｆｒａｍｅ对象

df2 = pd.DataFrame({
        ‘A‘: pd.Timestamp(‘20160701‘),
        ‘B‘: pd.Series(1, index=list(range(4)), dtype=‘float32‘),
        ‘C‘: np.array([3] * 4, dtype=‘int32‘),
        ‘D‘: pd.Categorical([‘Test‘, ‘Train‘, ‘Test‘, ‘Train‘]),
        ‘E‘: 1,
        ‘F‘: ‘foo‘
    })
df2

df2的每一列都拥有不同的类型，可以通过dtypes属性查看

df2.dtypes

A datetime64[ns] B float32 C int32 D category E int64 F object dtype: object ## 查看数据 查看数据的前几行和后几行

# head(n) 方法查看前n行
df.head(3)

# tail(n) 方法查看后n行
df.tail(2)

查看DataFrame的行列信息和数据信息

df.index

DatetimeIndex([‘2016-01-01’, ‘2016-01-02’, ‘2016-01-03’, ‘2016-01-04’, ‘2016-01-05’, ‘2016-01-06’], dtype=’datetime64[ns]’, freq=’D’)

df.columns

Index([‘A’, ‘B’, ‘C’, ‘D’], dtype=’object’)

df.values

array([[-0.8083965 , -1.54897301, 1.01331067, 1.98153559], [ 1.96654297, 0.46829396, 0.16844495, -1.47401779], [-1.30845444, 0.62552152, -2.46554656, 1.75779664], [-1.43058558, -0.73216048, -0.03483597, 0.21629514], [-0.51974796, 0.3868237 , -2.77528915, -0.08889186], [ 1.02791114, -0.31108897, 0.64672466, 0.77300274]]) 简单数据统计信息

df.describe()

矩阵的转置

df.T

索引排序

df.sort_index(axis=1, ascending=False)

通过某一列值进行排序

df.sort_values(by=‘C‘)

## 数据的选择 ### 获取数据

# 选取单独一列数据，获取到的数据是Ｓｅｒｉｅｓ对象，
# df[‘A‘] 等价与　df.A
df[‘A‘]

2016-01-01 -0.808397 2016-01-02 1.966543 2016-01-03 -1.308454 2016-01-04 -1.430586 2016-01-05 -0.519748 2016-01-06 1.027911 Freq: D, Name: A, dtype: float64 通过切片技术，获取相对应的行. **PS: 末端包含**

df[0:3]

df[‘20160102‘: ‘20160104‘]

通过标签选择数据。　ps:使用 .at, .iat, .loc, .iloc, .ix属性来实现

df.loc[‘20160101‘]

A -0.808397 B -1.548973 C 1.013311 D 1.981536 Name: 2016-01-01 00:00:00, dtype: float64 花式索引，选取多列数据

df.loc[:, [‘A‘,‘B‘]]

通过标签来切片

df.loc[‘20160102‘:‘20160103‘, [‘B‘,‘C‘]]

df.loc[‘20160103‘,[‘A‘, ‘B‘]]

A -1.308454 B 0.625522 Name: 2016-01-03 00:00:00, dtype: float64 获取单个数据

print(df.loc[‘20160101‘, ‘A‘])
# 或者使用.at属性
print(df.at[dates[0], ‘A‘])

-0.808396502432 -0.808396502432 通过位置选择,通过整数坐标来获取数据片段或单个数据,此时切片跟python, numpy一致，即末端不包含。

df.iloc[3]

A -1.430586 B -0.732160 C -0.034836 D 0.216295 Name: 2016-01-04 00:00:00, dtype: float64

df.iloc[3:5, 0:2]

df.iloc[[1,2,4],[0,2]]

df.iloc[1:3]

df.iloc[:,1:3]

df.iloc[1,1] # 等价与　df.iat{1,1}

0.46829396335234058 ### 布尔型索引

df[df.A > 0]

df[df >0]

使用　isin 方法来筛选数据

df2 = df.copy()
df2[‘E‘] = [‘one‘, ‘one‘, ‘two‘, ‘three‘, ‘four‘, ‘three‘]
df2

df2[df2[‘E‘].isin([‘one‘,‘three‘])]

### 数据的设置 通过索引匹配插入新的一列

s1 = pd.Series([1,2,3,4,5,6], index=pd.date_range(‘2016010２‘, periods=6))
df[‘F‘] = s1
df

也可以通过标签来赋值

df.at[dates[0], ‘A‘] = 0
df

通过位来赋值

df.iat[0, 1] = 0
df

将numpy数组赋值给某列

df.loc[:, ‘D‘] = np.array([5] * len(df))
df

df2 = df.copy()
df2[df2>0] = -df2
df2

## 处理缺失数据 pandas使用np.nan来表征缺失数据，这些数据在计算时默认不会被使用

df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + [‘E‘])
df1.loc[dates[0]:dates[1], ‘E‘] = 1
df1

方案一、丢弃所有数据缺失的行

df1.dropna(how=‘any‘)

方案二、填充缺失值

df1.fillna(value=5)

可以获取到缺失数据的掩码

df.isnull()
# 值为Ｔｒｕｅ的位置即是数据缺失的位置

## 数据操作 数据操作默认不会使用缺失值 ### 状态操作

df.mean()

A -0.044056 B 0.072898 C -0.574532 D 5.000000 F 3.000000 dtype: float64

# 行内统计
df.mean(1)

2016-01-01 1.503328 2016-01-02 1.720656 2016-01-03 0.770304 2016-01-04 1.160484 2016-01-05 1.218357 2016-01-06 2.272709 Freq: D, dtype: float64 当对维度不同的数据进行操作时，　数据之间需要对其，ｐａｎｄａｓ会自动在不同维度之间进行广播

s = pd.Series([1,3,5,np.nan, 6, 8], index=dates).shift(2)
s

2016-01-01 NaN 2016-01-02 NaN 2016-01-03 1.0 2016-01-04 3.0 2016-01-05 5.0 2016-01-06 NaN Freq: D, dtype: float64

df.sub(s, axis=‘index‘)

### 函数应用 将函数应用到数据上

df.apply(np.cumsum, axis=0)

df.apply(lambda x: x.max() - x.min())

A 3.397129 B 1.357682 C 3.788600 D 0.000000 F 4.000000 dtype: float64 ## 直方图

s = pd.Series(np.random.randint(0,7,size=10))
s

0 1 1 5 2 6 3 5 4 6 5 4 6 0 7 3 8 6 9 5 dtype: int64

s.value_counts()

6 3 5 3 4 1 3 1 1 1 0 1 dtype: int64 ### 字符串操作

s = pd.Series([‘A‘, ‘B‘, ‘C‘, ‘Aaba‘, ‘BAcd‘, np.nan, ‘CBA‘, ‘dog‘, ‘CAT‘])
s.str.lower()

0 a 1 b 2 c 3 aaba 4 bacd 5 NaN 6 cba 7 dog 8 cat dtype: object ## 数据合并 ### 数据连接 concat

# concat 函数将对象连接在一起
df = pd.DataFrame(np.random.randn(10,4))
df

pieces = [df[:3], df[5:]]
pd.concat(pieces)

### 数据ＳＱＬ风格的连接　merge

left = pd.DataFrame({‘key‘: [‘foo‘, ‘foo‘], ‘lval‘: [1,2]})
right = pd.DataFrame({‘key‘: [‘foo‘, ‘foo‘], ‘rval‘: [4,5]})
left

right

pd.merge(left, right, on=‘key‘)

### Append 在Ｄａｔｅｆｒａｍｅ对象尾部添加数据

df = pd.DataFrame(np.random.randn(8, 4), columns=[‘A‘,‘B‘,‘C‘,‘D‘])
df

s = df.iloc[3]
df.append(s, ignore_index=True)

### 分组聚合 groupby 分组聚合一般而言经历一下步骤： - 按约束条件将数据分组 - 使用某个函数处理分好组的数据 - 将处理好的数据合并在一起

df = pd.DataFrame({
        ‘A‘: [‘foo‘,‘bar‘,‘foo‘,‘bar‘,‘foo‘,‘bar‘,‘foo‘,‘foo‘],
        ‘B‘: [‘one‘,‘one‘,‘two‘,‘three‘, ‘two‘, ‘two‘, ‘one‘, ‘three‘],
        ‘C‘: np.random.randn(8),
        ‘D‘: np.random.randn(8)
    })
df

分组聚合后将ｓｕｍ函数应用到分组数据上

df.groupby(‘A‘).sum()

多重分组聚合之后，应用ｓｕｍ函数

df.groupby([‘A‘, ‘B‘]).sum()

## 重塑和轴向旋转 ### 轴向旋转

tuples = list(zip(*[
            [‘bar‘,‘bar‘, ‘baz‘, ‘baz‘, ‘foo‘,‘foo‘, ‘qux‘, ‘qux‘],
            [‘one‘, ‘two‘, ‘one‘, ‘two‘, ‘one‘, ‘two‘, ‘one‘, ‘two‘ ]
        ]))
index = pd.MultiIndex.from_tuples(tuples, names=[‘first‘, ‘second‘])
df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=[‘A‘,‘B‘])
df2 = df[:4]
df2

# stack方法将列转换为行
stacked = df2.stack()
stacked

first second bar one A -0.084595 B 1.495368 two A -0.801703 B -0.663997 baz one A -0.108681 B -0.986022 two A -0.524829 B 0.983664 dtype: float64

# unstack方法将行转为列
stacked.unstack()

# 默认unstack操作的是最内层的数据，可以指定层数
stacked.unstack(1)

stacked.unstack(0)

### 透视表

df = pd.DataFrame({
        ‘A‘: [‘one‘, ‘two‘, ‘three‘, ‘four‘] * 3,
        ‘B‘: [‘A‘, ‘B‘, ‘C‘] * 4,
        ‘C‘: [‘foo‘, ‘foo‘, ‘foo‘, ‘bar‘, ‘bar‘, ‘bar‘] * 2,
        ‘D‘: np.random.randn(12),
        ‘E‘: np.random.randn(12)

    })
df

pd.pivot_table(df, values=‘D‘, index=[‘A‘, ‘B‘], columns=[‘C‘])

## 时间序列 pandas提供了简单有效的处理时间频率的函数。

rng = pd.date_range(‘1/1/2016‘, periods=100, freq=‘S‘)

ts = pd.Series(np.random.randint(0, 500, len(rng)), index=rng)

ts.resample(‘10S‘).sum()

2016-01-01 00:00:00 2910 2016-01-01 00:00:10 2506 2016-01-01 00:00:20 2812 2016-01-01 00:00:30 2923 2016-01-01 00:00:40 2510 2016-01-01 00:00:50 2817 2016-01-01 00:01:00 2672 2016-01-01 00:01:10 2486 2016-01-01 00:01:20 3243 2016-01-01 00:01:30 2865 Freq: 10S, dtype: int64 时区转换

rng = pd.date_range(‘2/2/2016 00:00‘, periods=5 , freq=‘D‘)

ts = pd.Series(np.random.randn(len(rng)), rng)

ts

2016-02-02 -0.662500 2016-02-03 -0.762211 2016-02-04 0.954675 2016-02-05 -0.411404 2016-02-06 0.237898 Freq: D, dtype: float64

ts_utc = ts.tz_localize(‘UTC‘)

ts_utc

2016-02-02 00:00:00+00:00 -0.662500 2016-02-03 00:00:00+00:00 -0.762211 2016-02-04 00:00:00+00:00 0.954675 2016-02-05 00:00:00+00:00 -0.411404 2016-02-06 00:00:00+00:00 0.237898 Freq: D, dtype: float64 转化到其它时区

ts_utc.tz_convert(‘Asia/Shanghai‘)

2016-02-02 08:00:00+08:00 -0.662500 2016-02-03 08:00:00+08:00 -0.762211 2016-02-04 08:00:00+08:00 0.954675 2016-02-05 08:00:00+08:00 -0.411404 2016-02-06 08:00:00+08:00 0.237898 Freq: D, dtype: float64 时间戳和时期之间的专转换

ran = pd.date_range(‘1/1/2016‘, periods=5, freq=‘M‘)

ts = pd.Series(np.random.randn(len(rng)), index=rng)

ts

2016-02-02 -2.143138 2016-02-03 1.683414 2016-02-04 -0.427250 2016-02-05 -0.900378 2016-02-06 -1.039857 Freq: D, dtype: float64

ps = ts.to_period()
ps

2016-02-02 -2.143138 2016-02-03 1.683414 2016-02-04 -0.427250 2016-02-05 -0.900378 2016-02-06 -1.039857 Freq: D, dtype: float64

ps.to_timestamp()

2016-02-02 -2.143138 2016-02-03 1.683414 2016-02-04 -0.427250 2016-02-05 -0.900378 2016-02-06 -1.039857 Freq: D, dtype: float64 ## 种类类型

df = pd.DataFrame({
        "id": [1,2,3,4,5,6],
        "raw_grade": [‘a‘,‘b‘,‘b‘,‘a‘,‘a‘,‘e‘]
    })

df[‘grade‘] = df[‘raw_grade‘].astype(‘category‘)
df[‘grade‘]

0 a 1 b 2 b 3 a 4 a 5 e Name: grade, dtype: category Categories (3, object): [a, b, e]

df.grade.cat.categories = [‘very good‘, ‘good‘, ‘bad‘]
df.grade

0 very good 1 good 2 good 3 very good 4 very good 5 bad Name: grade, dtype: category Categories (3, object): [very good, good, bad]

df.grade = df.grade.cat.set_categories([‘very bad‘, ‘bad‘, ‘medium‘, ‘good‘, ‘very good‘])
df.grade

0 very good 1 good 2 good 3 very good 4 very good 5 bad Name: grade, dtype: category Categories (5, object): [very bad, bad, medium, good, very good]

df.sort_values(by=‘grade‘)

df.groupby(‘grade‘).size()

grade
very bad     0
bad          1
medium       0
good         2
very good    3
dtype: int64

绘图

ts = pd.Series(np.random.randn(1000), index=pd.date_range(‘1/1/2000‘, periods=1000))

ts = ts.cumsum()

ts.plot(grid=True)

<matplotlib.axes._subplots.AxesSubplot at 0x7ffa41fa9908>

df = pd.DataFrame(np.random.randn(1000, 4), index=ts.index, columns=list(‘ABCD‘))
df = df.cumsum()

plt.figure()
df.plot(grid=True)
plt.legend(loc=‘best‘)

<matplotlib.legend.Legend at 0x7ffa41de6e48>




<matplotlib.figure.Figure at 0x7ffa41f1e198>