码迷，mamicode.com
首页 > 其他好文 > 详细

pandas基础

时间：2016-06-07 14:39:28      阅读：653      评论：0      收藏：0      [点我收藏+]

标签：

pandas 两个主要数据结构：Series 和 DataFrame。（建议引入本地）

Series：
  • 类似于一维数组的对象，它由一组数据（各种NumPy数据类型）以及一组与之相关的数据标签（即索引）组成
  • 通过Series 的 values 和 index 属性获取其数组表示形式和索引对象
  • 可以为数据指定索引，通过索引的方式选取Series中的单个或一组值
  • NumPy数组运算（如根据布尔型数组进行过滤、标量乘法、应用数学函数等）都会保留索引和值之间的链接
  • 可以将Series看成是一个定长的有序字典，因为它是索引值到数据值的一个映射
  • 可以直接通过字典来创建Series
  • Series的索引可以通过赋值的方式（列表）就地修改
  • Series对象本身及其索引都有一个name属性，可直接赋值修改

DataFrame：
  • 表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔值等）。DataFrame既有行索引也有列索引，它可以被看做由Series组成的字典（共用同一个索引）。
  • 构建DataFrame，最常用的一种是直接传入一个由等长列表或NumPy数组组成的字典。
  • DataFrame会自动加上索引（跟Series一样），且全部列会被有序排列。（如果指定了列序列，则DataFrame的列就会按照指定顺序进行排列）
  • 跟Series一样，如果传入的列在数据中找不到，就会产生NA值。
  • 通过类似字典标记的方式或属性的方式获取列
  • 赋值给列：将列表或数组赋值给某个列时，其长度必须跟DataFrame的长度相匹配。如果赋值的是一个Series，就会精确匹配DataFrame的索引，所有的空位都将被填上缺失值
  • 为不存在的列赋值会创建出一个新列。
  • 关键字del用于删除列。
  • 通过索引方式返回的列只是相应数据的视图而已，并不是副本。（通过Series的copy方法即可显式地复制列）
  • 传入嵌套字典：外层字典的键作为列，内层键则作为行索引
  • 可以设置DataFrame的 index 和 columns 的 name 属性
技术分享

pandas的索引对象：
  • 轴标签和其他元数据（比如轴名称等）
  • Index对象是不可修改的，这样才能使Index对象在多个数据结构之间安全共享
  • 本质是一个由Python对象组成的Numpy数组
技术分享

Series 和 DataFrame 中的数据的基本功能：
  1. 重新索引（reindex）：
    • 创建一个适应新索引的新对象，将会根据新索引进行重排。如果某个索引值当前不存在，就引入缺失值
    • 对于时间序列这样的有序数据，重新索引时可能需要做一些插值处理。method选项：ffill / pad可以实现前向值填充；bfill / backfill 实现后向填充
    • 对于DataFrame，reindex可以修改（行）索引、列，或两个都修改。（如果仅传入一个序列，则会重新索引行；使用columns关键字即可重新索引列）
    • 插值则只能按行应用（即轴0
    • 利用ix的标签索引功能，重新索引任务可以变得更简洁
    • 技术分享
  2. 丢弃指定轴上的项（drop）：
    • drop方法返回的是一个在指定轴上删除了指定值的新对象
    • 对于DataFrame，可以删除任意轴上的索引值（轴1需加上参数：axis=1）
  3. 索引、选取和过滤:
    • Series索引（obj[...]）可以是标签或整数。
    • 利用标签的切片运算其末端是包含的。（整数则不包含末端）
    • 对DataFrame进行索引其实就是获取一个或多个列（用列标签） data[[‘three‘, ‘one‘]]
    • DataFrame选取行要通过切片或者布尔型数组或者索引字段ix
    • 技术分享
    • 技术分享
  4. 算术运算和数据对齐：
    • 在将对象相加时，如果存在不同的索引对，则结果的索引就是该索引对的并集。自动的数据对齐操作在不重叠的索引处引入了NA值。缺失值会在算术运算过程中传播。
  5. 在算术方法中填充值：
    • 在对不同索引的对象进行算术运算时，当一个对象中某个轴标签在另一个对象中找不到时填充一个特殊值（比如0）
    • add，加法；sub，减法；div，除法；mul，乘法
    1. df1 = DataFrame(np.arange(12.).reshape((3, 4)), columns=list(‘abcd‘))
    2. df2 = DataFrame(np.arange(20.).reshape((4, 5)), columns=list(‘abcde‘))
    4. # 使用df1的add方法，传入df2以及一个fill_value参数
    5. df1.add(df2, fill_value=0)
    6. # 重新索引时，也可以指定一个填充值
  6. DataFrame和Series之间的运算：
    • 默认情况下，DataFrame和Series之间的算术运算会将Series的索引匹配到DataFrame的列，然后沿着行一直向下广播。
    • 如果某个索引值在DataFrame的列或Series的索引中找不到，则参与运算的两个对象就会被重新索引以形成并集。
    • 如果你希望匹配行且在列上广播，则必须使用算术运算方法。（传入的轴号就是希望匹配的轴）
      1. series3 = frame[‘d‘]
      2. frame.sub(series3, axis=0)
  7. 函数应用和映射：
    • NumPy的ufuncs（元素级数组方法）可用于操作pandas对象（如np.abs）
    • DataFrame的apply方法：将函数应用到由各列或行所形成的一维数组上
    • 许多最为常见的数组统计功能都被实现成DataFrame的方法（如sum和mean），因此无需使用apply方法
    • 除标量值外，传递给apply的函数还可以返回由多个值组成的Series
    • applymap方法：对frame中各个值格式化字符串（Series有一个用于应用元素级函数的map方法）
  8. 排序和排名：
    • sort_index方法：对行或列索引进行排序（按字典顺序）；对于DataFrame，可以根据任意一个轴上的索引进行排序（axis=1）；数据默认是按升序排序的，但也可以降序排序（ascending=False）
    • order方法：按值对Series进行排序；在排序时，任何缺失值默认都会被放到Series的末尾
    • sort_values方法：对于DataFrame，将一个或多个列的名字（组成列表）传递给by选项，可以根据一个或多个列中的值进行排序
    • rank方法：适用于Series和DataFrame；技术分享
  9. 带有重复值的轴索引：
    • is_unique属性：查看索引的值是否是唯一
    • 对于带有重复值的索引，数据选取的行为将会有些不同。如果某个索引对应多个值，则返回一个Series；而对应单个值的，则返回一个标量值。
  10. 汇总和计算描述统计：
    • 技术分享
    • 技术分享
    • 技术分享
  11. 相关系数与协方差：
    • Series的 corr 方法用于计算两个Series中重叠的、非NA的、按索引对齐的值的相关系数。与此类似，cov用于计算协方差。
    • DataFrame的corrwith方法，可以计算其列或行跟另一个Series或DataFrame之间的相关系数：
      • 传入一个Series将会返回一个相关系数值Series（针对各列进行计算）
      • 传入一个DataFrame则会计算按列名配对的相关系数
  12. 唯一值、值计数以及成员资格：
    • 技术分享
  13. 处理缺失数据：
    • pandas使用浮点值NaN（Not a Number）表示浮点和非浮点数组中的缺失数据。
    • Python内置的None值也会被当做NA处理
    • 技术分享
  14. 滤除缺失数据：
    • 对于一个Series：
      • dropna返回一个仅含非空数据和索引值的Series
      • 通过布尔型索引
    • 对于DataFrame：
      • dropna默认丢弃任何含有缺失值的行
      • 传入how=‘all‘将只丢弃全为NA的那些行
      • 要用这种方式丢弃列，只需传入axis=1即可
      • thresh参数：留下一部分观测数据，thresh为非NaN值的最少个数
  15. 填充缺失数据：
    • fillna方法：
      • 通过一个常数调用就会将缺失值替换为那个常数值
      • 通过一个字典调用fillna，就可以实现对不同的列填充不同的值（键名对应列标签）
      • fillna默认会返回新对象，但也可以对现有对象进行就地修改：参数 inplace=True
      • 对reindex有效的那些插值方法也可用于fillna（如method=‘ffill‘）
      • 通过函数调用fillna可以实现很多功能，比如说，你可以传入Series的平均值或中位数技术分享
      • 技术分享
  16. 层次化索引：
    • 能在一个轴上拥有多个（两个以上）索引级别。抽象点说，它使你能以低维度形式处理高维度数据。
    • 选取数据子集：
      1. data = Series(np.random.randn(10),
      2.               index=[[‘a‘, ‘a‘, ‘a‘, ‘b‘, ‘b‘, ‘b‘, ‘c‘, ‘c‘, ‘d‘, ‘d‘],
      3.                      [1, 2, 3, 1, 2, 3, 1, 2, 2, 3]])
      4. data[‘b‘]
      5. data[‘b‘:‘c‘]
      6. data.ix[[‘b‘, ‘d‘]]
      7. # 在“内层”中进行选取，a,b,c,d各层下的‘2‘标签
      8. data[:, 2]
    • 重排分级顺序：
      • swaplevel接受两个级别编号或名称，并返回一个互换了级别的新对象（但数据不会发生变化）
      • sortlevel则根据单个级别中的值对数据进行排序（稳定的）。交换级别时，常常也会用到sortlevel，这样最终结果就是有序的了。
      • 在层次化索引的对象上，如果索引是按字典方式从外到内排序（即调用sortlevel(0)或sort_index()的结果），数据选取操作的性能要好很多。
  17. 根据级别汇总统计：
    • 许多对DataFrame和Series的描述和汇总统计都有一个level选项，它用于指定在某条轴上求和的级别。
  18. 使用DataFrame的列：
    • set_index：将DataFrame的一个或多个列转化成行索引
    • reset_index：层次化索引的级别会被转移到列里面
  19. 整数索引：
    • 如果你的轴索引含有索引器，那么根据整数进行数据选取的操作将总是面向标签的。这也包括用ix进行切片
    • 如果你需要可靠的、不考虑索引类型的、基于位置的索引，可以使用iloc方法
  20. 面板数据：
    • 三维版的DataFrame
    • Panel中的每一项（类似于DataFrame的列）都是一个DataFrame









pandas基础

标签：

原文地址：http://www.cnblogs.com/woaielf/p/5566820.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！