一：准备 1.启动服务 2.启动spark-shell 二：测试检验程序 1.DataFrame的构成 2.结果 三：DataFrame的创建 1.创建SQLContext val sqlContext=new SQLContext(sc) 2.创建DataFrame（两种方式） val df=sq ...
分类：
其他好文 时间：
2017-04-27 23:07:54
阅读次数：
1974
应该是端口问题，找不到spark节点。手动设置端口号 spark-shell --conf spark.shuffle.service.enabled=true --conf spark.replClassServer.port=15002 ...
分类：
系统相关 时间：
2017-04-09 19:46:51
阅读次数：
218
对于spark下已经有的依赖，直接importSparkContext但是有些第三方依赖，需要从外部引入spark-shell--jars/home/wangtuntun/下载/nscala-time_2.10-2.12.0.jar如果有多个jar包需要导入，中间用逗号隔开
分类：
系统相关 时间：
2017-03-14 21:22:04
阅读次数：
261
背景：公司有些业务需求是存储在HBase上的，总是有业务人员找我要各种数据，所以想直接用Spark( shell) 加载到RDD进行计算 摘要： 1.相关环境 2.代码例子 内容 1.相关环境 Spark 版本：2.0.0 Hadoop 版本：2.4.0 HBase 版本：0.98.6 注：使用CD ...
分类：
其他好文 时间：
2016-12-02 21:36:45
阅读次数：
305
Spark是一个分布式内存计算框架，可部署在YARN或者MESOS管理的分布式系统中（Fully Distributed），也可以以Pseudo Distributed方式部署在单个机器上面，还可以以Standalone方式部署在单个机器上面。运行Spark的方式有interactive和submi ...
分类：
系统相关 时间：
2016-12-02 12:02:30
阅读次数：
216
一、概述 spark2.0做出的改变大家可以参考官网以及其他资料，这里不再赘述由于spark1.x的sqlContext在spark2.0中被整合到sparkSession，故而利用spark-shell客户端操作会有些许不同，具体如下文所述二、spark额外配置 1.正常配置不再赘述，这里如果需要读取MySQL数据，则需要在..
分类：
数据库 时间：
2016-11-22 15:13:40
阅读次数：
655
spark 1.5.1是支持直接读取gz格式的压缩包的，和普通文件没有什么区别： 使用spark-shell进入spark shell 交互界面： 输入命令： 回车后是可以看到该目下很多个gz压缩包文件都被打印出来了。 参考文章： http://blog.csdn.net/xuyaoqiaoyaog ...
分类：
其他好文 时间：
2016-11-20 07:14:39
阅读次数：
259
第一次看到Spark崩溃SparkShell内存OOM的现象要搞Spark图计算，所以用了Google的web-Google.txt，大小71.8MB。以命令：valgraph=GraphLoader.edgeListFile(sc,"hdfs://192.168.0.10:9000/input/graph/web-Google.txt")建立图的时候，运算了半天后直接退回了控制台。界面xiansca..
分类：
系统相关 时间：
2016-11-14 02:34:16
阅读次数：
1274
【问题】 解压spark的tar包后，执行bin/spark-shell，执行val lines=sc.textFile("README.md")时，抛错error: not found: value sc 【解决办法】 这是因为shell启动时没有初始化sparkContext，修改conf/sp ...
分类：
其他好文 时间：
2016-10-25 14:11:45
阅读次数：
502
越来越健忘了，得记录下自己的操作才行！ ES和spark版本： spark-1.6.0-bin-hadoop2.6 Elasticsearch for Apache Hadoop 2.1.2 如果是其他版本，在索引数据写入的时候可能会出错。 首先，启动es后，spark shell导入es-hado ...
分类：
其他好文 时间：
2016-10-20 17:41:59
阅读次数：
301
