原文地址：https://www.zybuluo.com/jk88876594/note/802632 DataFrame——数据清洗 阿雷边学边教python数据分析第3期——pandas与numpy 1.缺失值处理 python中用NaN(Not a Number)表示缺失数据 （1）判断缺失值 ...
分类：
其他好文 时间：
2018-12-04 21:08:19
阅读次数：
289
import pandas as pd df = pd.DataFrame( {"林大明":[65,92,78,83,70], "陈聪明":[90,72,76,93,56], "黄美丽":[81,85,91,89,77], "熊小娟":[79,53,47,94,80] } )print(df) im ...
分类：
编程语言 时间：
2018-12-03 22:55:29
阅读次数：
310
pandas以类似字典的方式来获取某一列的值 import pandas as pd import numpy as np table = pd.DataFrame(np.zeros((4,2)), index=['a','b','c','d'], columns=['left', 'right'] ...
分类：
编程语言 时间：
2018-12-01 15:34:07
阅读次数：
1334
笔者最近需要使用pyspark进行数据整理，于是乎给自己整理一份使用指南。pyspark.dataframe跟pandas的差别还是挺大的。 1、——– 查 ——– — 1.1 行元素查询操作 — 像SQL那样打印列表前20元素 show函数内可用int类型指定要打印的行数： df.show()df ...
分类：
其他好文 时间：
2018-12-01 13:20:10
阅读次数：
653
RDD.DataFrame.DataSet的区别和联系 共性: 1）都是spark中得弹性分布式数据集，轻量级 2）都是惰性机制，延迟计算 3）根据内存情况，自动缓存，加快计算速度 4）都有partition分区概念 5）众多相同得算子：map flatmap 等等 区别： 1）RDD不支持SQL ...
分类：
其他好文 时间：
2018-12-01 13:01:39
阅读次数：
266
前言 将近两年前，我写过一篇同名文章（见 "使用Python实现子区域数据分类统计" ）。 当时是为了统计县域内的植被覆盖量，折腾了一段时间，解决了这个问题。最近，又碰到了一个类似的需求，也需要统计某个小范围内的数据。简单来说，这个需求是将两个 shp 文件的任意两个对象做相交判断，最后形成一个新的 ...
分类：
编程语言 时间：
2018-11-30 20:50:08
阅读次数：
246
series Series 是pandas两大数据结构中（DataFrame，Series）的一种。 创建Series Series的定义 ：Series是一种类似于一维数组的对象，它由一组数据（各种NumPy数据类型）以及一组与之相关的数据标签（即索引）组成。 ? Series对象本质上是一个Nu ...
分类：
编程语言 时间：
2018-11-30 13:48:53
阅读次数：
224
df = DataFrame(np.arange(5 * 4).reshape((5, 4))) sampler = np.random.permutation(5) df表如下： 0 1 2 3 0 0 1 2 3 1 4 5 6 7 2 8 9 10 11 3 12 13 14 15 4 16 ...
分类：
其他好文 时间：
2018-11-30 11:37:06
阅读次数：
153
我已经创建了一个火花dataframe阅读csvhdfs的位置。emp_df=spark.read.format("com.databricks.spark.csv")\.option("mode","DROPMALFORMED")\.option("header","true")\.option(
分类：
其他好文 时间：
2018-11-29 19:50:18
阅读次数：
205
