Spark处理字符串日期的max和min的方式 Spark处理数据存储到Hive的方式 Spark处理新增列的方式map和udf、functions Spark处理行转列pivot的使用 ...
分类：
其他好文 时间：
2017-12-03 15:35:46
阅读次数：
231
1 import pandas as pd 2 df1 = pd.DataFrame([[1,2,3],[5,6,7],[3,9,0],[8,0,3]],columns=['x1','x2','x3']) 3 df2 = pd.DataFrame([[1,2],[4,6],[3,9]],column ...
分类：
编程语言 时间：
2017-12-01 16:40:39
阅读次数：
431
读取CSV（逗号分隔）文件到DataFrame，也支持文件的部分导入和选择迭代 更多帮助参见：http://pandas.pydata.org/pandas-docs/stable/io.html 参数： filepath_or_buffer：str，pathlib。str，pathlib.Path ...
分类：
其他好文 时间：
2017-11-30 17:24:13
阅读次数：
234
spark提示Caused by: java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to [Lscala.collection.immutable.Map; 起因 编写了 ...
分类：
移动开发 时间：
2017-11-28 12:44:07
阅读次数：
355
转自：http://www.cnblogs.com/dxf813/p/7845398.html 基于zipline的分钟回测改写，其中数据源为自定义，使用bcolz的ctable，该数据格式与pandas的DataFrame很好兼容，并且bcolz文件压缩率很好。以下主要记录此次改写回测整个过程中涉 ...
分类：
其他好文 时间：
2017-11-27 11:07:00
阅读次数：
898
转自：https://www.cnblogs.com/hhh5460/p/5816774.html 问题：有一个DataFrame，列名为：['$a', '$b', '$c', '$d', '$e']现需要改为：['a', 'b', 'c', 'd', 'e']有何办法？ 解决： 方式一：colum ...
分类：
其他好文 时间：
2017-11-26 14:54:09
阅读次数：
364
1. 创建新的变量 2. 变量的重编码 连续->类别 错误->正确值 分数->级别划分 3. 变量的重命名 reshape()包中的rename()函数 rename(dataframe, c(oldname='newname',oldname = 'newname') 4. 缺失值 缺失值：NA( ...
分类：
编程语言 时间：
2017-11-22 13:09:15
阅读次数：
154
刚接触python不久，编程也是三脚猫，所以对常用的这几个工具还没有一个好的使用习惯，毕竟程序语言是头顺毛驴。所以最近在工作中使用的时候在使用pandas的DataFrame时遇到了以下报警： SettingWithCopyWarning: A value is trying to be set o ...
分类：
其他好文 时间：
2017-11-21 23:55:46
阅读次数：
177
package com.profile.mainimport org.apache.spark.sql.expressions.Windowimport org.apache.spark.sql.functions._import com.profile.tools.{DateTools, Jdbc ...
分类：
编程语言 时间：
2017-11-21 17:40:44
阅读次数：
288
1.Pandas的函数应用 1.apply 和 applymap 1. 可直接使用NumPy的函数 示例代码： # Numpy ufunc 函数 df = pd.DataFrame(np.random.randn(5,4) - 1) print(df) print(np.abs(df)) 运行结果： ...
分类：
其他好文 时间：
2017-11-19 19:44:58
阅读次数：
234
