一、Java方式开发
1、开发前准备：假定您以搭建好了Spark集群。
2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。
3、Spark streaming 基于Spark Core进行计算，需要注意事项：
设置本地master，如果指定local的话，必须配置至少二条线程，也可通过sparkconf来设置，因为Spark...
分类：
编程语言 时间：
2016-04-29 17:43:01
阅读次数：
230
一：Spark集群开发环境准备启动HDFS，如下图所示：通过web端查看节点正常启动，如下图所示：2.启动Spark集群，如下图所示：通过web端查看集群启动正常，如下图所示：3.启动start-history-server.sh，如下图所示：二：HDFS的SparkStreaming案例实战（代码部分）packagecom.dt.sp..
分类：
其他好文 时间：
2016-04-28 12:31:55
阅读次数：
253
一、Java方式开发1、开发前准备：假定您以搭建好了Spark集群。2、开发环境采用eclipsemaven工程，需要添加SparkStreaming依赖。3、Sparkstreaming基于SparkCore进行计算，需要注意事项：设置本地master，如果指定local的话，必须配置至少二条线程，也可通过sparkconf来设置，因..
分类：
编程语言 时间：
2016-04-28 12:31:33
阅读次数：
238
一：Spark集群开发环境准备
启动HDFS，如下图所示：
通过web端查看节点正常启动，如下图所示：
2.启动Spark集群，如下图所示：
通过web端查看集群启动正常，如下图所示：
3.启动start-history-server.sh，如下图所示：
二：HDFS的SparkStreaming案例实战（代码部分）
...
分类：
其他好文 时间：
2016-04-26 20:06:35
阅读次数：
147
一、Java方式开发
1、开发前准备：假定您以搭建好了Spark集群。
2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。
3、Spark streaming 基于Spark Core进行计算，需要注意事项：
设置本地master，如果指定local的话，必须配置至少二条线程，也可通过sparkconf来设置，因为Spark...
分类：
编程语言 时间：
2016-04-26 19:41:05
阅读次数：
202
一、Java方式开发 1、开发前准备：假定您以搭建好了Spark集群。 2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。 3、Spark streaming 基于Spark Core进行计算，需要注意事项： 设置本地master，如果指定local的话，必 ...
分类：
编程语言 时间：
2016-04-26 00:37:50
阅读次数：
253
一：Spark集群开发环境准备 通过web端查看节点正常启动，如下图所示： 2.启动Spark集群，如下图所示： 通过web端查看集群启动正常，如下图所示： 3.启动start-history-server.sh，如下图所示： 二：HDFS的SparkStreaming案例实战（代码部分） pack ...
分类：
其他好文 时间：
2016-04-26 00:34:10
阅读次数：
420
目录 1 为什么要在Docker上搭建Spark集群 他：为什么要在Docker上搭建Spark集群啊？ 我：因为……我行啊！ MR和Spark都提供了local模式，即在单机上模拟多计算节点来执行任务。但是，像我这等手贱的新手，怎么会满足于“模拟”？很容易想到在单机上运行多个虚拟机作为计算节点，可 ...
分类：
其他好文 时间：
2016-04-17 13:01:53
阅读次数：
236
HBase Error: connection object not serializable 想在spark driver程序中连接HBase数据库，并将数据插入到HBase，但是在spark集群提交运行过程中遇到错误：connection object not serializable 详细的错 ...
分类：
其他好文 时间：
2016-04-05 19:10:59
阅读次数：
196
1. 概述
本文是对spark1.6.0分布式集群的安装的一个详细说明，旨在帮助相关人员按照本说明能够快速搭建并使用spark集群。
2. 安装环境
本安装说明的示例环境部署如下：
IP
外网IP
hostname
备注
10.47.110.38
120.27.153.137
iZ237654q6qZ
Master、Slaver
...
分类：
其他好文 时间：
2016-04-01 18:46:32
阅读次数：
247
