码迷,mamicode.com
首页 > 其他好文 > 详细

(4)pyspark中dataframe的清理操作

时间:2018-10-11 14:26:50      阅读:566      评论:0      收藏:0      [点我收藏+]

标签:oss   das   count   cat   没有   分享图片   taf   drop   col   

1、交叉表(crosstab):

pandas中也有,常和pivot_table比较。

技术分享图片

查看家庭ID与评分的交叉表:

技术分享图片

2、处理缺失值:fillna

技术分享图片

withColumn:新增一列数据

cast : 用于将某种数据类型的表达式显式转换为另一种数据类型

技术分享图片

 将缺失值删除:dropna

技术分享图片

3、处理重复值

查看有没有重复值存在:distinct().count()

技术分享图片

将重复值去除:dropDuplicates()

技术分享图片

 

(4)pyspark中dataframe的清理操作

标签:oss   das   count   cat   没有   分享图片   taf   drop   col   

原文地址:https://www.cnblogs.com/Lee-yl/p/9771975.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!