在使用pandas对DataFrame进行赋值操作时，会出现一个看似莫名巧妙的告警信息： SettingWithCopyWarning：A value is trying to be set on a copy of slice from a DataFrame Try using .loc[row ...
分类：
其他好文 时间：
2018-10-22 16:39:19
阅读次数：
234
#!/usr/bin/env python # -*- coding:utf-8 -*- """ 系列（值的集合） DataFrame数据包（系列对象的集合） panel（数据文件对象的集合) 一个系列对象可以保存许多数据类型，包括 浮点数表示浮点数 表示整数值的 布尔布尔值表示布尔值 表示日期和时... ...
分类：
其他好文 时间：
2018-10-19 16:07:41
阅读次数：
459
版本说明：Spark-2.3.0 使用Spark SQL在对数据进行处理的过程中，可能会遇到对一列数据拆分为多列，或者把多列数据合并为一列。这里记录一下目前想到的对DataFrame列数据进行合并和拆分的几种方法。 1 DataFrame列数据的合并例如：我们有如下数据，想要将三列数据合并为一列，并 ...
分类：
其他好文 时间：
2018-10-19 02:19:29
阅读次数：
360
在DataFrame数据表里面提取需要的行 代码功能： 在DataFrame表格中使用loc(),得到我们想要的行，然后根据某一列元素的值进行排序 此代码中还展示了为DataFrame添加列，即直接name_DataFrame['diff']=___即可，同时可以依据新添加的列元素的值，来对data ...
分类：
其他好文 时间：
2018-10-17 11:11:19
阅读次数：
282
"数据清理" 简书大神SeanCheney的译作，我作了些格式调整和文章目录结构的变化，更适合自己阅读，以后翻阅是更加方便自己查找吧 设定最大列数和最大行数 1 宽格式转长格式 .dataframe tbody tr th:only of type { vertical align: middle; ...
分类：
其他好文 时间：
2018-10-17 00:09:03
阅读次数：
159
日常在处理数据的时候，经常需要对dataframe进行重排，只取其中几列或者更改列名等操作； 有两个相似的方法reindex和rename，与此记录一下常见的用法，并标注一下区别： rename：重命名，就是对col列进行命名的修改，他只改变col的名字，相当于起了个别名，原来叫col1，以后叫co ...
分类：
编程语言 时间：
2018-10-16 22:08:17
阅读次数：
1885
1、介绍 spark SQL是构建在spark core模块上的四大模块之一，提供DataFrame等丰富的API，运行期间通过spark查询优化器翻译成物理执行计划，并行计算输出结果，底层计算原理用RDD计算实现。 2、standalone模式下的spark和hive集成 1、在 /soft/sp ...
分类：
数据库 时间：
2018-10-16 22:01:43
阅读次数：
201
显示所有数据库 选择数据库并显示所有表 查询表数据 RDD -- DataFrame -- select API -- 创建临时表 -- 查询 ...
分类：
系统相关 时间：
2018-10-16 21:57:26
阅读次数：
414
来源: https://stackoverflow.com/questions/43983622/remove unnamed columns in pandas dataframe ...
分类：
其他好文 时间：
2018-10-16 18:46:39
阅读次数：
893
Pandas的23种核心函数：import pandas as pd 基础数据集操作（1）读取CSV文件 pd.DataFrame.from_csv("csv_file") 或者 pd.read_csv("csv_file") （2）读取Excel文件 pd.read_excel("excel_fi ...
分类：
编程语言 时间：
2018-10-16 15:54:28
阅读次数：
154
