标签：cat   lse   false   中国   txt   保存   condition   das   csv   

数据科学第三章

1.Panda 的数据结构

（1）引入panda包

• part 1

import pandas as pd
import numpy as np
from pandas import Series, DataFrame

（2）Series对象

• part 2

height = Series([187, 190, 185, 178, 185], index=['13', '14', '7', '2', '9'])
            # index为字符串
height

13    187
14    190
7     185
2     178
9     185
dtype: int64

• part 3

# 可以用字典创建Series 对象
height1 = Series({'13':187, '14':190, '7':185, '2':178, '9':185})
height

13    187
14    190
7     185
2     178
9     185
dtype: int64

（3）Series数据访问

• part 4

height['13']                # 检索13号球员身高， 同height[0]

187

• part 5

height[['13', '2', '7']]    # 检索13号、2号、7号球员身高， 同height[[0, 3, 2]]

13    187
2     178
7     185
dtype: int64

• part 6

height[1:3]                 # 截断， 选取序号为1~2的球员身高

14    190
7     185
dtype: int64

• part 7

height[height.values >= 186]# 检索高于186的球员

13    187
14    190
dtype: int64

• part 8

height['13'] = 188          # 修改13号球员身高
height['13']

188

• part 9

height[1: 3] = 160          # 修改序号为1，2的数据，标量赋值
height

13    188
14    160
7     160
2     178
9     185
dtype: int64

• part 10

a = Series([190, 187], index=['23', '5'])   # 创建新球员的Series对象a
newheight = height.append(a)                # 取出height对象值添加啊后赋给newheight
newheight

13    188
14    160
7     160
2     178
9     185
23    190
5     187
dtype: int64

• part 11

newheight = height.drop(['13', '9'])       # 删除13号和9号球员数据
newheight

14    160
7     160
2     178
dtype: int64

• part 12

height.index=[1, 2, 3, 4, 5]               # 用新的列表替换即可
height

1    188
2    160
3    160
4    178
5    185
dtype: int64

• part 13

height[ [1, 3] ]              # 使用索引访问，注意：这是数字类型

1    188
3    160
dtype: int64

• part 14

height.iloc[0]               # 基于位置序号的访问

188

DataFrame对象

• part 15

data = [[19, 170, 68], [20, 165, 65], [18, 175, 65]]
students = DataFrame(data, index=[1, 2, 3], columns=['age', 'height', 'weight'])
students

DataFrame数据选取方法

（1）查询

• part 16

students.loc[1, 'age']         # 查询1号同学的年龄

19

• part 17

students.iloc[[0, 2], [0, 1]]  # 查询第0、2行，0、1列的信息

• part 18

students.loc[:, ['height', 'age']]   # 特定列

• part 19

students[['height', 'age']]     # 与上同

• part 20

students.iloc[1:, 0:2]          # 截取

• part 21

students[1:3]                   # 截取行数据

• part 22

students['height'] >= 168

1     True
2    False
3     True
Name: height, dtype: bool

• part 23

students.loc[ students['height']>=168, ['height', 'weight'] ]

（2）修改操作

• part 24

# 增加列
students['expense'] = [1500, 1600, 1200]
students

• part 25

# 增加行
students.loc[4] = [5, 5, 5, 5]
students

• part 26

# 修改列
students['expense'] = 1000
students

• part 27

# 修改行
students.loc[1, :] = [21, 188, 70, 20]
students

• part 28

# 修改点
students.loc[students['expense']<500, 'expense'] = 1200
students

（3）删除

• part 29

# 删除行输出
students.drop(1, axis=0)

• part 30

# 删除列输出
students.drop('expense', axis=1)

• part 31

# 删除多行，且直接修改students
students.drop([1, 2], axis=0, inplace=True)
students

2.数据文件读写

（1）csv文件的读写，txt雷同

• part 32

# 读取
GINI = pd.read_csv('3th data\GINI.csv')
GINI[-3:]

• part 33

# 保存
students.to_csv('3th data\Students.csv', mode='w', header=True, index=False)

（2）读取Excel文件

• part 34

# 读取
GINI = pd.read_excel('3th data\GINI.xlsx', 'GINI', index_col=0)

3.数据清洗

• part 35

GINI.dropna(thresh=7, inplace=True)         # 保留有效数据个数大于7的行
GINI

67 rows × 15 columns

• part 36

GINI.interpolate(method='linear', axis=1, inplace=True)     # 线性插值
GINI.fillna(method='bfill', axis=1, inplace=True)           # 向前填充
GINI

67 rows × 15 columns

• part 37

# 去除重复值，即重复行
GINI.drop_duplicates()

67 rows × 15 columns

• part 38

GINI1 = GINI[:30]
GINI2 = GINI[30:]
# 数据合并
NEW_GINI = pd.concat([GINI1, GINI2], axis=0)     # axis=0表示按行追加
NEW_GINI

67 rows × 15 columns

• 列数据处理有：inner内连接-交集；outer外连接-并集；left左连接；right右连接

  数据排序

  值排序

• part 39

GINI.sort_values(by=[2014, 2013], ascending=False)
# by-可以多列排序
# ascending-False为降序

67 rows × 15 columns

• part 40

# 添加排名
GINI['排名'] = GINI[2014].rank(method='min', ascending=False)
GINI

67 rows × 16 columns

4.统计分析

• part 41

GINI.T.describe()           # 给出常用统计量

8 rows × 67 columns

• part 42

result = GINI.T[0:15].cov()          # 寻找协方差矩阵
result

67 rows × 67 columns

• part 43

# 保存
result.to_csv('3th data\GINI_COV.csv', mode='w', header=True, index=True)

# 清洗出协方差绝对值大于1的两个国家
RES = DataFrame(GINI.index, index=GINI.index, columns=['Name'])
for il in list(GINI.index):
    mask = np.abs(result[il])>=1
    mask = result.loc[mask, il]
    mask = DataFrame(mask, index=mask.index, columns=[il])
    RES = pd.concat([RES, mask], axis=1, sort=False)
RES = RES.iloc[:, 1:]
RES.fillna(0, inplace=True)
for num in range(RES.index.size):
    RES.iloc[num, num] = 0
    for mun in range(RES.index.size):
        RES.iloc[num, mun] = np.sign(RES.iloc[num, mun])
RES

67 rows × 67 columns

• part 44

# 原本想做一个有向连通图的，比较懒，没有写完

# import networkx as nx
# import matplotlib.pyplot as plt

# G = nx.DiGraph()
# G.add_node(tuple(RES.index))

# nx.draw(G)
# plt.show()

# G = nx.DiGraph()
# G.add_node(1)
# G.add_node(2)
# G.add_nodes_from([3,4,5,6])
# G.add_edge(1,3)
# G.add_edges_from([(3,5),(3,6),(6,7)])
# G = G.to_undirected()
# nx.draw(G)
# plt.show()

数据清洗与分析 - 数据科学 Part 3

标签：cat   lse   false   中国   txt   保存   condition   das   csv   

原文地址：https://www.cnblogs.com/rsmx/p/12195935.html