将一个列表数据写入output.xlsx的a,b,c……等sheet中 import pandas as pd df1 = pd.DataFrame({'a':[3,1],'b':[4,3]}) df2 = df1.copy() with pd.ExcelWriter('F:\\python入门\\ ...
分类：
编程语言 时间：
2020-05-13 23:31:30
阅读次数：
141
在SparkSQL中Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。他们和RDD有什么区别呢？首先从版本的产生上来看：RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6) 如果同样的数据都给到这三个数据结构 ...
分类：
其他好文 时间：
2020-05-12 17:13:48
阅读次数：
220
思路： 1、先将DataFrame数据转换为numpy 2、通过numpy来修改对角线值 3、再将数据转换为DataFrame 代码： import pandas as pd import numpy as np # 数据 df = pd.DataFrame(np.arange(16).reshap ...
分类：
其他好文 时间：
2020-05-12 11:30:04
阅读次数：
104
Python中的pandas模块进行数据分析。 接下来pandas介绍中将学习到如下8块内容： 1、数据结构简介：DataFrame和Series 2、数据索引index 3、利用pandas查询数据 4、利用pandas的DataFrames进行统计分析 5、利用pandas实现SQL操作 6、利 ...
分类：
其他好文 时间：
2020-05-11 10:32:07
阅读次数：
65
def getDataDict(): dataFrame = pandas.read_excel('D:/Py/2010人口普查.xlsx',skiprows=2) raceList = list(map(lambda s:str(s).replace("\xa0",""),dataFrame.il ...
分类：
其他好文 时间：
2020-05-10 13:15:35
阅读次数：
98
set_index() 函数原型：DataFrame.set_index(keys, drop=True, append=False, inplace=False, verify_integrity=False) 参数解释： keys：列标签或列标签/数组列表，需要设置为索引的列 drop：默认为T ...
分类：
其他好文 时间：
2020-05-10 11:20:35
阅读次数：
76
1.写在前面 在利用spark计算引擎将kafka或其他源数据组件的数据入hive形成数仓的过程中有两种方式，一种方式是利用spark Rdd的API将数据写入hdfs形成hdfs文件，之后再将文件和hdfs文件和hive表做加载映射。第二种方式是利用sparkSQL将获取的数据Rdd转换成data ...
分类：
数据库 时间：
2020-05-09 19:20:15
阅读次数：
100
为什么要学习pandas 数据处理基本就是使用pandas, pandas就是numpy++ pandas是一个强大的数据分析工具集 pandas的常用数据类型 (1) Series (2) Dataframe Series Series创建 通过序列来创建Series对象 通过字典来创建Serie ...
分类：
其他好文 时间：
2020-05-09 01:10:51
阅读次数：
58
Pandas详解 Pandas是一个强大的分析结构化数据的工具集；它的使用基础是Numpy（提供高性能的矩阵运算）；用于数据挖掘和数据分析，同时也提供数据清洗功能。 1、安装包 pip install pandas 2、数据结构 Pandas有三大数据结构，Series、DataFrame以及Pan ...
分类：
其他好文 时间：
2020-05-09 00:32:44
阅读次数：
78
在pandas中主要提供了两种数据类型，series与dataframe,前者相当于numpy中的一维数组，后者相当于一个excel或者.net中的datatable,即一个内存表，有了这样的数据结构进行数据分析即容易的多，可以通过python程序化处理达到类似于excel中的功能 以下对serie ...
分类：
其他好文 时间：
2020-05-08 15:58:45
阅读次数：
65
