标签:封装 解决 泰坦尼克 数据格式 定位 基本操作 nes 自定义函数 使用
Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素之一。
pandas是numpy库的更高级封装,pandas方法中很多是调用了numpy库的方法
import pandas
food_info=pandas.read_csv("food_info.csv")
print(type(food_info))
print(food_info.dtypes)
print(help(pandas.read_csv))
output:
<class ‘pandas.core.frame.DataFrame‘> # DataFrame就是pandas的核心数据结构,类似矩阵结构;numpy的核心数据结构是ndarray,详情见上一章
--------------
NDB_No int64
Shrt_Desc object #pandas对字符型数据类型定义较为怪异,称之为 object类型,object=str
Water_(g) float64
Energ_Kcal int64
Protein_(g) float64
Lipid_Tot_(g) float64
Ash_(g) float64
Carbohydrt_(g) float64
Fiber_TD_(g) float64
Sugar_Tot_(g) float64
Calcium_(mg) float64
Iron_(mg) float64
Magnesium_(mg) float64
Phosphorus_(mg) float64
Potassium_(mg) float64
Sodium_(mg) float64
Zinc_(mg) float64
Copper_(mg) float64
Manganese_(mg) float64
Selenium_(mcg) float64
Vit_C_(mg) float64
Thiamin_(mg) float64
Riboflavin_(mg) float64
Niacin_(mg) float64
Vit_B6_(mg) float64
Vit_B12_(mcg) float64
Vit_A_IU float64
Vit_A_RAE float64
Vit_E_(mg) float64
Vit_D_mcg float64
Vit_D_IU float64
Vit_K_(mcg) float64
FA_Sat_(g) float64
FA_Mono_(g) float64
FA_Poly_(g) float64
Cholestrl_(mg) float64
dtype: object
--------------
first_rows = food_info.head() #pandas的数据格式下调用head方法,是读取该数据格式的数据包括表头,如果不写参数,默认读取前5行数据。
print first_rows
#print(food_info.head(3))
last_rows = food_info.tail() #pandas的数据格式下调用tail方法,是读取该数据格式的数据包括表头,如果不写参数,默认读取后5行数据。
print last_rows
print food_info.columns #打印dataframe数据类型下的各列列名。
print food_info.shape #打印dataframe形状,几行几列,其中行数就是样本数,列数就是指标数。
pandas数据读取相对麻烦,不像python或numpy那样简单。pandas需要调用一个函数,才能对相关数据进行读取。
这个方法就是loc[]方法,如下
print food_info.loc[0]#dataframe数据有一个特征,就是样本数和指标数的分离。无论什么数据在dataframe里指标数固定,这里的索引index=0,是对样本进行索引。
output: #所以这里取出的是样本1所对应的所有属性或指标。
NDB_No 1001
Shrt_Desc BUTTER WITH SALT
Water_(g) 15.87
Energ_Kcal 717
Protein_(g) 0.85
Lipid_Tot_(g) 81.11
Ash_(g) 2.11
Carbohydrt_(g) 0.06
Fiber_TD_(g) 0
Sugar_Tot_(g) 0.06
Calcium_(mg) 24
Iron_(mg) 0.02
Magnesium_(mg) 2
Phosphorus_(mg) 24
Potassium_(mg) 24
Sodium_(mg) 643
Zinc_(mg) 0.09
Copper_(mg) 0
Manganese_(mg) 0
Selenium_(mcg) 1
Vit_C_(mg) 0
Thiamin_(mg) 0.005
Riboflavin_(mg) 0.034
Niacin_(mg) 0.042
Vit_B6_(mg) 0.003
Vit_B12_(mcg) 0.17
Vit_A_IU 2499
Vit_A_RAE 684
Vit_E_(mg) 2.32
Vit_D_mcg 1.5
Vit_D_IU 60
Vit_K_(mcg) 7
FA_Sat_(g) 51.368
FA_Mono_(g) 21.021
FA_Poly_(g) 3.043
Cholestrl_(mg) 215
Name: 0, dtype: object
同样dataframe.loc[3:6]可以对pandas的数据进行切片,方法与python类似。
想取任意数据的话,只需要把其对应的索引值传入就可以了。
ndb_col = food_info["NDB_No"] #在dataframe格式下,把列名作为索引传递给数据对象,就可以得到这一列的所有数据。
print ndb_col
如果想打印多列:
columns = ["Zinc_(mg)", "Copper_(mg)"] #先把想打印的列名组合成一个list格式
zinc_copper = food_info[columns] #然后一起传递给dataframe的数据对象,就可以多列打印了。
print zinc_copper
需求:在这些数据中,找出以‘g’为结尾的列名和整列数据
col_names = food_info.columns.tolist() # columns方法是提取列名,tolist方法是把列名转化成list格式
gram_columns = []
for c in col_names: #遍历可迭代对象col_names
if c.endswith("(g)"):
gram_columns.append(c)
gram_df = food_info[gram_columns] #把以“g”结尾的列名为索引代入dataframe对象,得出对应的多列数据。
print(gram_df.head(3))
#object - For string values
#int - For integer values
#float - For float values
#datetime - For time values
#bool - For Boolean values
#print(food_info.dtypes)
对整列的数据的操作,等价于对该列中每个元素进行对应的操作,与numpy类似。
print food_info["Iron_(mg)"]
div_1000 = food_info["Iron_(mg)"] / 1000
print div_1000
对两个列进行组合:
water_energy = food_info["Water_(g)"] * food_info["Energ_Kcal"]
这个两列相乘,是把两列中同一样本的不同数据对应相乘,把结果保存成一个新的列
添加新属性,即添加新列:
iron_grams = food_info["Iron_(mg)"] / 1000
food_info["Iron_(g)"] = iron_grams
添加有个前提,就是添加的数据样本数要和原dataframe样本数一致,即行数一样,直接用索引+赋值的方式添加即可。
求某列的最大值:
max_calories = food_info["Energ_Kcal"].max()
首先定位好要求最大值的列,然后直接调用max方法,即可求出某列的最大值。
food_info.sort_values("Sodium_(mg)", inplace=True)
print food_info["Sodium_(mg)"]
对dataframe数据结构调用sort_values方法即可排序,默认是从小到大排序。第一个参数是要对哪一个列进行排序,inplace是判断是新生成dataframe还是覆盖旧的。
food_info.sort_values("Sodium_(mg)", inplace=True, ascending=False)
print food_info["Sodium_(mg)"]
需要降序排列时,要指定sort_values的参数ascending=False,ascending的意思是升序。这个值默认是True,给它改成False就是降序排列了。
1)数据导入
import pandas as pd
import numpy as np #一般我们用np代替numpy,用pd代替pandas
titanic_survival = pd.read_csv("titanic_train.csv") #读入csv文件
titanic_survival.head() #显示头几个数据
2)数据操作
age = titanic_survival["Age"] #选中Age这一列,并把它单独保存
#print(age.loc[0:10]) #age这时候已经只有一列,就是刚刚选出来的,这时候调用loc函数,输入切片位置,就可以仅仅取出age中对应位置的数据了
age_is_null = pd.isnull(age) #isnull方法是判断该数据中数据位是不是为空,如果为空返回True,括号里传入需要判断的数据组
#print age_is_null
age_null_true = age[age_is_null] #把bool值作为索引传入,得到数据为空的那些数据
#print age_null_true
age_null_count = len(age_null_true) #判断数据为空的个数
print(age_null_count)
3)null值的影响
mean_age = sum(titanic_survival["Age"]) / len(titanic_survival["Age"]) #先对age这一列求和,然后除以age这一列的个数
print mean_age
output:
Nan
这种情况就是因为sum中有null空值,所以结果就会报错。
4)null值的处理
good_ages = titanic_survival["Age"][age_is_null == False] #age_is_null==False是取出不是缺失值的数据
#print good_ages
correct_mean_age = sum(good_ages) / len(good_ages)
print correct_mean_age
当然求均值可以直接调用mean方法,如下
correct_mean_age = titanic_survival["Age"].mean()
print correct_mean_age #这段代码的输出结果与上一段代码的结果完全一样。
5)数据统计
需求:求出每个不同等级的船舱的平均船票
#mean fare for each class
passenger_classes = [1, 2, 3] #先设置船舱等级列表
fares_by_class = {} #建立一个空字典,准备存放不同船舱的平均船票数据
for this_class in passenger_classes: #遍历不同等级的船舱
pclass_rows = titanic_survival[titanic_survival["Pclass"] == this_class] #先取出船舱列,对比目前遍历等级取出对应等级船舱数据
pclass_fares = pclass_rows["Fare"] #在这类数据中,取出价格列
fare_for_class = pclass_fares.mean() #求该价格列的平均值
fares_by_class[this_class] = fare_for_class #以船舱等级为key值,平均fare为value值,存入字典中
print fares_by_class #打印字典
pd自带的统计函数:pivot_table
passenger_survival = titanic_survival.pivot_table(index="Pclass", values="Survived", aggfunc=np.mean)
#index是以谁为基准统计,values是基准和谁之间的关系, aggfunc是要统计前两个参数之间的什么关系。
print passenger_survival
统计不同等级船舱的乘客的平均年龄:
passenger_age = titanic_survival.pivot_table(index="Pclass", values="Age")#以pclass为基准统计,统计的值是age的平均值。aggfunc默认值为np.mean
print(passenger_age)
统计一个变量和其他两个量之间的关系:
port_stats = titanic_survival.pivot_table(index="Embarked", values=["Fare","Survived"], aggfunc=np.sum)
print(port_stats)
#以embarked为基准,统计它和fare与survived的关系,统计的关系为求和。即在不同码头登船的人的总费用和总的获救数量。
6)丢掉null值:dropna
drop_na_columns = titanic_survival.dropna(axis=1) #横向丢掉缺失数据的样本
new_titanic_survival = titanic_survival.dropna(axis=0,subset=["Age", "Sex"]) #纵向去掉,age和sex这两列中如果有缺失值,去掉该样本。
#print new_titanic_survival
7)通过索引调取数据
row_index_83_age = titanic_survival.loc[83,"Age"] #通过索引调取数据,都需要使用loc函数,位置1输入样本序号,位置2输入对应的属性
row_index_1000_pclass = titanic_survival.loc[1000,"Pclass"]
print row_index_83_age
print row_index_1000_pclass
8)排序后重新设置索引
new_titanic_survival = titanic_survival.sort_values("Age",ascending=False) #以age为依据降序排列
print new_titanic_survival[0:10] #取新数据的前11个样本,即年龄最大的前11个样本
itanic_reindexed = new_titanic_survival.reset_index(drop=True) #对新的dataframe数据,调用reset_index重新设置索引,drop为true意思是删除原有index。
print(titanic_reindexed.iloc[0:10])
1)例子1:
def hundredth_row(column): #首先定义一个函数
hundredth_item = column.loc[99] #函数内调用loc方法,使得程序返回第100个样本数据
return hundredth_item #用return把数据返还给调用该函数的位置
hundredth_row = titanic_survival.apply(hundredth_row) #对dataframe数据调用apply方法里面传入之前定义的函数,即执行自定义函数的操作。
print hundredth_row
2)例子2:
def not_null_count(column): #定义一个函数,形参必须为column,名字可以任取,默认column处会以遍历的方式把每一列的列名都代入。
column_null = pd.isnull(column) #调用pd的isnull方法,遍历的判断每列中的所有数据是否是缺失状态
null = column[column_null] #把每列中缺失的样本赋值给null
return len(null) #遍历的方式返回每列中缺失值的数量
column_null_count = titanic_survival.apply(not_null_count) #对dataframe数据执行apply方法,直接调用自定义函数
print column_null_count
3)例子3:
def which_class(row):
pclass = row[‘Pclass‘]
if pd.isnull(pclass):
return "Unknown"
elif pclass == 1:
return "First Class"
elif pclass == 2:
return "Second Class"
elif pclass == 3:
return "Third Class"
classes = titanic_survival.apply(which_class, axis=1)
print classes
4)例子4:
def generate_age_label(row): #定义一个函数,形参为row
age = row["Age"] #
if pd.isnull(age):
return "unknown"
elif age < 18:
return "minor"
else:
return "adult"
age_labels = titanic_survival.apply(generate_age_label, axis=1)
print age_labels
标签:封装 解决 泰坦尼克 数据格式 定位 基本操作 nes 自定义函数 使用
原文地址:http://www.cnblogs.com/GavinSimons/p/7889529.html