码迷,mamicode.com
首页 > 其他好文 > 详细

重复值处理

时间:2018-04-20 22:03:34      阅读:157      评论:0      收藏:0      [点我收藏+]

标签:默认   inf   http   复数   指定   bubuko   分享   als   taf   

import pandas as pd

# 生成重复数据
data1 = [a, 3]
data2 = [b, 2]
data3 = [a, 3]
data4 = [c, 2]

df = pd.DataFrame([data1, data2, data3, data4], columns = [col1, col2])
print(df)

技术分享图片

# 判断重复数据
isDuplicated = df.duplicated()     # 判断重复数据记录
print(isDuplicated)                # 打印输出

技术分享图片

# 删除重复值
new_df1 = df.drop_duplicates()            # 删除数据记录中所有列值相同的记录
new_df2 = df.drop_duplicates([col1])    # 删除数据记录中col1值相同的记录
new_df3 = df.drop_duplicates([col2])    # 删除数据记录中col2值相同的记录
new_df4 = df.drop_duplicates([col1, col2])    # 删除数据记录中指定列(col1/col2)值相同的记录

print(new_df1)
print(new_df2)
print(new_df3)
print(new_df4)

技术分享图片

判断重复数据的判断方法:df.duplicated(),该方法中两个主要的参数是subset和keep:

  • subset:要判断重复值的列,可以指定特定列或多个列。默认使用全部列。
  • keep:当重复时不标记为True的规则,可设置为第一个、最后一个和全部标记为True(False)。默认为第一个,即第一个重复值不标记为True。

删除重复数据的方法:df.drop_duplicates(),参数跟df.duplicated()一样。

 

Numpy重复值的判断

除了Pandas可用来做重复值判断和处理外,也可以使用Numpy中的unique()方法,该方法返回其参数数组中所有不同的值,并且按照从小到大的顺序排列。Python自带的内置函数set方法,也可以返回唯一元素的集合。

 

重复值处理

标签:默认   inf   http   复数   指定   bubuko   分享   als   taf   

原文地址:https://www.cnblogs.com/keye/p/8893325.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!