如何对dataframe做group by ，需要使用data.frame table等等http://stackoverflow.com/questions/25293045/count-number-of-rows-in-a-data-frame-in-r-based-on-groupmydf#...
分类：
编程语言 时间：
2015-07-16 13:55:29
阅读次数：
146
因为习惯了使用pandas的DataFrame数据结构，同时pandas作为一个方便计算和表操作的数据结构具有十分显著的优势，甚至很多时候dataFrame可以作为excel在使用，而在用python操作gis的shp文件时很不顺畅，不太符合使...
分类：
其他好文 时间：
2015-06-06 13:40:31
阅读次数：
212
在我之前，没有人研究过这些。so，你们要喊哥哥。 engine.Initialize();
engine.Evaluate("library(quantmod)");
engine.Evaluate("getSymbols('AAPL',src='yahoo',from='2004-1-1',to='2014-1-1')");...
分类：
Web程序 时间：
2015-05-25 18:47:54
阅读次数：
134
python确实很用来很爽很苏服，代码不多各种库出于易用目的，做了很多默认设置，但要是不认真看API，那就会掉到坑里了。df1.groupby(['Dn','UserLabel','BeginTime']).first()df1['city']=df1['UserLabel'].str.slice(...
分类：
其他好文 时间：
2015-05-19 00:33:49
阅读次数：
869
从官网来copy过来的几种模式描述：Scala/JavaPythonMeaningSaveMode.ErrorIfExists(default)"error"(default)When saving a DataFrame to a data source, if data already exis...
分类：
数据库 时间：
2015-05-18 16:09:17
阅读次数：
181
这不是一个有说服力的测试，算是我的体验吧通过pandas.read_csv函数将总共1.44GB的164个csv文件依次（转为dataframe对象，并新增2条series，再将该dataframe通过pandas.to_sql函数写成1.23GB的sqlite数据库文件，从导入第四个文件后，就越来...
分类：
数据库 时间：
2015-05-16 01:25:24
阅读次数：
658
使用spark 1.3.1scala> import sqlContext.createSchemaRdd结果报错::29: error: value createSchemaRdd is not a member of org.apache.spark.sql.SQLContext i...
分类：
其他好文 时间：
2015-05-15 17:26:14
阅读次数：
158
Spark SQL 1.3参考官方文档：Spark SQL and DataFrame Guide概览介绍参考：平易近人、兼容并蓄——Spark SQL 1.3.0概览 DataFrame提供了一条联结所有主流数据源并自动转化为可并行处理格式的渠道，通过它Spark能取悦大数据生态链上的所有玩家，....
分类：
数据库 时间：
2015-05-08 23:48:25
阅读次数：
311
今天在使用Spark中DataFrame往Mysql中插入RDD，但是一直报出以下的异常次信息：
[itelbog@iteblog ~]$ bin/spark-submit --master local[2]
--jars lib/mysql-connector-java-5.1.35.jar
--class spark.sparkToJDBC ./spark-test_2.10-1...
分类：
编程语言 时间：
2015-04-24 19:18:59
阅读次数：
248
三月中旬，Spark发布了最新的1.3.0版本，其中最重要的变化，便是DataFrame这个API的推出。DataFrame让Spark具备了处理大规模结构化数据的能力，在比原有的RDD转化方式易用的前提下，计算性能更还快了两倍。这一个小小的API，隐含着Spark希望大一统「大数据江湖」的野心和决心。DataFrame像是一条联结所有主流数据源并自动转化为可并行处理格式的水渠，通过它Spark能...
分类：
其他好文 时间：
2015-04-24 16:19:33
阅读次数：
138
