非交互式运行Spark Application 的例子 $ cat Count.py import sysfrom pyspark import SparkContext if __name__ == "__main__": sc = SparkContext()logfile = sys.argv ...
分类：
移动开发 时间：
2017-10-29 11:21:41
阅读次数：
225
配好了Spark集群后,先用pyspark写了两个小例子，但是发现Tab键没有提示，于是打算转到scala上试试，在spark-shell下有提示了，但是发现不能退格，而且提示也不是复写，而是追加，这样根本就没法写程序. 解决办法： 1.打开会话选项 2.终端-仿真 在终端中选择Linux 3.映射 ...
分类：
系统相关 时间：
2017-10-14 16:52:24
阅读次数：
248
承接上篇pyspark，这里再给一个我写的scala的例子。这个的目的是从埋点事件里统计需要的几个事件并分区域累计，kafka stream实时计算 要说一下，版本特别重要，一个是spark版本（<2, 2.0, >2.0），一个是scala版本（主要是<2.11和2.11），注意匹配 pom.xm ...
分类：
其他好文 时间：
2017-10-09 14:14:50
阅读次数：
242
[Spark][Python][RDD][DataFrame]从 RDD 构造 DataFrame 例子 from pyspark.sql.types import * schema = StructType( [ StructField("age",IntegerType(),True), Str ...
分类：
编程语言 时间：
2017-10-07 23:33:06
阅读次数：
177
[Spark][Python][DataFrame][RDD]从DataFrame得到RDD的例子 $ hdfs dfs -cat people.json $pyspark sqlContext = HiveContext(sc) peopleDF = sqlContext.read.json("p ...
分类：
编程语言 时间：
2017-10-07 17:31:36
阅读次数：
191
[Spark][Python][DataFrame][SQL]Spark对DataFrame直接执行SQL处理的例子 $cat people.json $ hdfs dfs -put people.json $pyspark sqlContext = HiveContext(sc)peopleDF ...
分类：
数据库 时间：
2017-10-07 15:01:20
阅读次数：
285
[Spark][Python]DataFrame的左右连接例子 $ hdfs dfs -cat people.json $ hdfs dfs -cat pcodes.json $pyspark sqlContext = HiveContext(sc)peopleDF = sqlContext.rea ...
分类：
编程语言 时间：
2017-10-06 21:57:51
阅读次数：
450
[Spark][Python]sortByKey 例子： [training@localhost ~]$ hdfs dfs -cat test02.txt00002 sku01000001 sku93300001 sku02200003 sku88800004 sku41100001 sku9120 ...
分类：
编程语言 时间：
2017-09-29 22:58:30
阅读次数：
281
spark没有配置Python环境变量的时候使用Python只用spark时候回出现 from pyspark import SparkConf,SparkContentImportError: No module named pyspark 所以要在环境变量中配置 打开 vim /etc/prof ...
分类：
编程语言 时间：
2017-09-23 21:22:38
阅读次数：
179
%pyspark#查询认证用户importsys#importMySQLdbimportmysql.connectorimportpandasaspdimportdatetimeimporttimeoptmap={‘dbuser‘:‘haoren‘,‘dbpass‘:‘G4d‘,‘dbhost‘:‘172.12.112.5‘,‘dbport‘:3306,‘dbname‘:‘GMDB‘}defsql_select(reqsql):ret=‘‘try:db_conn=mysql.connector.c..
分类：
编程语言 时间：
2017-09-02 00:11:59
阅读次数：
313
