转自：https://sanwen8.cn/p/2241oUa.html shift函数是对数据进行移动的操作，假如现在有一个DataFrame数据df，如下所示： 那么如果执行以下代码： 就会变成如下： 看一下函数原型： 参数 periods：类型为int，表示移动的幅度，可以是正数，也可以是负数 ...
分类：
其他好文 时间：
2017-01-13 20:46:52
阅读次数：
943
1.今天,我们来介绍spark以及dataframe的相关的知识点,但是在此之前先说一下对以前的hadoop的一些理解 当我启动hadoop的时候,上面有hdfs的存储结构,由于这个是分布式存储,所以当一个节点挂了之后,此后由于 还有别的机器上存储这些block块(这里面你肯定要问了,我们怎么知道它 ...
分类：
其他好文 时间：
2017-01-13 08:08:58
阅读次数：
186
http://www.cnblogs.com/wuzhiblog/p/python_new_row_or_col.html DataFrame数据预览： 计算各列数据总和并作为新列添加到末尾 计算各行数据总和并作为新行添加到末尾 最终数据结果： ...
分类：
移动开发 时间：
2017-01-10 19:26:34
阅读次数：
286
DataFrame Constructor DataFrame([data, index, columns, dtype, copy]) Two-dimensional size-mutable, potentially heterogeneous tabular data structure wi ...
分类：
其他好文 时间：
2016-12-27 23:11:59
阅读次数：
437
set_index 很有用 http://stackoverflow.com/questions/10457584/redefining-the-index-in-a-pandas-dataframe-object ...
分类：
其他好文 时间：
2016-12-23 01:40:18
阅读次数：
221
http://stackoverflow.com/questions/17071871/select-rows-from-a-dataframe-based-on-values-in-a-column-in-pandas ...
分类：
其他好文 时间：
2016-12-23 01:29:33
阅读次数：
148
作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 SparkSQL这块儿从1.4开始支持了很多的窗口分析函数，像row_number这些，平时写程序加载数据后用SQLContext 能够很方便实现很多分析和查询,如下 sqlContext.sql ...
分类：
其他好文 时间：
2016-12-20 20:00:40
阅读次数：
2515
读一张表，对其进行二值化特征转换。可以二值化要求输入类型必须double类型，类型怎么转换呢？ 直接利用spark column 就可以进行转换： DataFrame dataset = hive.sql("select age,sex,race from hive_race_sex_bucktiz ...
分类：
其他好文 时间：
2016-12-20 18:07:40
阅读次数：
536
今天本来想写一个spark dataframe unionall的demo,由于粗心报下面错误： Exception in thread "main" org.apache.spark.sql.AnalysisException: Union can only be performed on tab ...
分类：
其他好文 时间：
2016-12-20 18:00:00
阅读次数：
580
转载自：http://lxw1234.com/archives/2016/10/772.htm Spark2.0新增了Structured Streaming，它是基于SparkSQL构建的可扩展和容错的流式数据处理引擎，使得实时流式数据计算可以和离线计算采用相同的处理方式（DataFrame&SQ ...
分类：
其他好文 时间：
2016-12-15 17:34:56
阅读次数：
423
