码迷,mamicode.com
首页 > 其他好文 > 详细

一文带你掌握常见的Pandas性能优化方法,让你的pandas飞起来!

时间:2020-09-11 16:06:08      阅读:54      评论:0      收藏:0      [点我收藏+]

标签:帮助   barplot   png   boxplot   测试用例   port   blog   method   map   

一文带你掌握常见的Pandas性能优化方法,让你的pandas飞起来!

阅读本文大概需要4.5分钟

Pandas是Python中用于数据处理与分析的屠龙刀,想必大家也都不陌生,但Pandas在使用上有一些技巧和需要注意的地方,尤其是对于较大的数据集而言,如果你没有适当地使用,那么可能会导致Pandas的运行速度非常慢。

对于程序猿/媛而言,时间就是生命,这篇文章给大家总结了一些pandas常见的性能优化方法,希望能对你有所帮助!

一、数据读取的优化

读取数据是进行数据分析前的一个必经环节,pandas中也内置了许多数据读取的函数,最常见的就是用pd.read_csv()函数从csv文件读取数据,那不同格式的文件读取起来有什么区别呢?哪种方式速度更快呢?我们做个实验对比一下。

这里采用的数据共59万行,分别保存为xlsx、csv、hdf以及pkl格式,每种格式进行10次读取测试,得到下面的结果。

技术图片

可以看到,对同一份数据,pkl格式的数据的读取速度最快,是读取csv格式数据的近6倍,其次是hdf格式的数据,速度最惨不忍睹的是读取xlsx格式的数据(这仅仅是一份只有15M左右大小的数据集呀)。

所以对于日常的数据集(大多为csv格式),可以先用pandas读入,然后将数据转存为pkl或者hdf格式,之后每次读取数据时候,便可以节省一些时间。代码如下:

1import pandas as pd
 2#读取csv
 3df = pd.read_csv(‘xxx.csv‘)
 4
 5#pkl格式
 6df.to_pickle(‘xxx.pkl‘) #格式另存
 7df = pd.read_pickle(‘xxx.pkl‘) #读取
 8
 9#hdf格式
10df.to_hdf(‘xxx.hdf‘,‘df‘) #格式另存
11df = pd.read_hdf(‘xxx.pkl‘,‘df‘) #读取

二、进行聚合操作时的优化

在使用 agg 和 transform 进行操作时,尽量使用Python的内置函数,能够提高运行效率。(数据用的还是上面的测试用例)

1、agg+Python内置函数

技术图片

2、agg+非内置函数

技术图片

可以看到对 agg 方法,使用内置函数时运行效率提升了60%。

3、transform+Python内置函数

技术图片

4、transform+非内置函数

技术图片

对 transform 方法而言,使用内置函数时运行效率提升了两倍。

三、对数据进行逐行操作时的优化

假设我们现在有这样一个电力消耗数据集,以及对应时段的电费价格,如下图所示:

技术图片

技术图片

数据集记录着每小时的电力消耗,如第一行代表2001年1月13日零点消耗了0.586kwh的电。不同使用时段的电费价格不一样,我们现在的目的是求出总的电费,那么就需要将对应时段的单位电费×消耗电量。下面给出了三种写法,我们分别测试这三种处理方式,对比一下这三种写法有什么不同,代码效率上有什么差异。

#编写求得相应结果的函数
def get_cost(kwh, hour):
    if 0 <= hour < 7:
        rate = 0.6
    elif 7 <= hour < 17:
        rate = 0.68
    elif 17 <= hour < 24:
        rate = 0.75
    else:
        raise ValueError(f‘Invalid hour: {hour}‘)
    return rate * kwh

#方法一:简单循环
def loop(df):
    cost_list = []
    for i in range(len(df)):
        energy_used = df.iloc[i][‘energy_kwh‘]
        hour = df.iloc[i][‘date_time‘].hour
        energy_cost = get_cost(energy_used, hour)
        cost_list.append(energy_cost)
    df[‘cost‘] = cost_list

#方法二:apply方法
def apply_method(df):
     df[‘cost‘] = df.apply(
         lambda row: get_cost(
             kwh=row[‘energy_kwh‘],
             hour=row[‘date_time‘].hour),
         axis=1)

#方法三:采用isin筛选出各时段,分段处理
df.set_index(‘date_time‘, inplace=True)
def isin_method(df):
    peak_hours = df.index.hour.isin(range(17, 24))
    simple_hours = df.index.hour.isin(range(7, 17))
    off_peak_hours = df.index.hour.isin(range(0, 7))

    df.loc[peak_hours, ‘cost‘] = df.loc[peak_hours, ‘energy_kwh‘] * 0.75
    df.loc[simple_hours,‘cost‘] = df.loc[simple_hours, ‘energy_kwh‘] * 0.68
    df.loc[off_peak_hours,‘cost‘] = df.loc[off_peak_hours, ‘energy_kwh‘] * 0.6

测试结果:
技术图片

可以看到,采用 isin() 筛选出对应数据后分开计算的速度是简单循环的近606倍,这并不是说 isin() 有多厉害,方法三速度快是因为它采用了向量化的数据处理方式(这里的isin() 是其中一种方式,还有其他方式,大家可以尝试一下) ,这才是重点。什么意思呢?

这里简单画了个图,大家可以结合这个图和代码好好体会是一个一个处理快,还是把能进行相同操作的分开然后批量处理快。

技术图片

四、使用numba进行加速

如果在你的数据处理过程涉及到了大量的数值计算,那么使用numba可以大大加快代码的运行效率,numba使用起来也很简单,下面给大家演示一下。(代码处理不具有实际意义,只是展示一下效果)

首先需要安装numba模块

>>>pip install numba 

我们用一个简单的例子测试一下numba的提速效果

import numba

@numba.vectorize
def f_with_numba(x): 
    return x * 2

def f_without_numba(x): 
    return x * 2

#方法一:apply逐行操作
df["double_energy"] = df.energy_kwh.apply(f_without_numba)

#方法二:向量化运行
df["double_energy"] = df.energy_kwh*2

#方法三:运用numba加速
#需要以numpy数组的形式传入
#否则会报错
df["double_energy"] = f_with_numba(df.energy_kwh.to_numpy())

技术图片

从测试结果来看,再次凸显出向量化处理的优势,同时numba对原本速度已经很快的向量化处理也能提高一倍多的效率。更多numba的使用方法请参考numba的使用文档。

参考资料:
1、https://pandas.pydata.org/pandasdocs/stable/user_guide/enhancingperf.html
2、https://realpython.com/fast-flexible-pandas/
3、https://www.cnblogs.com/wkang/p/9794678.html

原创不易,如果觉得有点用,希望可以随手转发或者 ”在看“ ,拜谢各位老铁。
猜您喜欢
往期精选▼

  1. 互联网寒冬下,数据分析师还吃香吗?
  2. Python可视化 | Seaborn5分钟入门(六)——heatmap热力图
  3. Seaborn入门系列(五)——lmplot
  4. Seaborn入门系列(三)——boxplot和violinplot
  5. Seaborn入门系列(二)——barplot&countplot&pointplot

关注我们
技术图片

1529321439513643.jpg
公众号:Python读财
一个记录成长的公众号

一文带你掌握常见的Pandas性能优化方法,让你的pandas飞起来!

标签:帮助   barplot   png   boxplot   测试用例   port   blog   method   map   

原文地址:https://blog.51cto.com/14915204/2525941

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!