本博文的主要内容如下: 1、通过案例观察Spark架构 2、手动绘制Spark内部架构 3、Spark Job的逻辑视图解析 4、Spark Job的物理视图解析 1、通过案例观察Spark架构 spark-shell中，默认情况下，没有任何的Job。 从Master角度讲： 1、管理CPU、MEM ...
分类：
其他好文 时间：
2016-10-09 13:07:34
阅读次数：
210
1，flume所在的节点不和spark同一个集群 v50和 10-15节点 flume在v50里面 flume-agent.conf spark是开的work节点，就是单点计算节点，不涉及到master发送管理 只是用到了sparkStreming的实时功能 开启的是spark-shell不是spa ...
分类：
Web程序 时间：
2016-09-28 12:23:24
阅读次数：
191
这里，我以指定executor-memory参数的方式，启动spark-shell。 启动hadoop集群 spark@SparkSingleNode:/usr/local/hadoop/hadoop-2.6.0$ jps8457 Jpsspark@SparkSingleNode:/usr/loca ...
不急，循序渐进，先打好基础 Spark shell的原理 首先，我们清晰定位找到这几个。 1、spark-shell 2、 spark-submit 3、spark-class 4、SparkSubmit.scala 5、SparkILoop.scala createSparkContext的源码 ...
分类：
系统相关 时间：
2016-09-25 11:55:52
阅读次数：
220
1. val lines=sc.textFile("hdfs://") ==加载进来成为RDD Resilient distributed dataset 弹性数据集 val errors=lines.filter(_.startsWith("ERROR")) ##transformation va ...
分类：
系统相关 时间：
2016-09-14 16:29:27
阅读次数：
304
使用spark shell进行交互式分析
上传一个文件到hdfs上的如下目录/user/hdfs/
-bash-4.1$ hadoop fs -put README.md /user/hdfs/
-bash-4.1$ hadoop fs -ls /user/hdfs
Found 3 items
drwxr-xr-x - hdfs supergroup 0 2016-...
分类：
其他好文 时间：
2016-08-21 16:54:09
阅读次数：
206
希望在spark-shell中测试集群方式的elasticsearch操作， # 1 首先下载相关的jar # 2 启动spark-shell时用--jars ./bin/spark-shell –master spark://master:7077 –jars /usr/local/spark-1 ...
分类：
编程语言 时间：
2016-08-12 11:25:49
阅读次数：
606
我尝试着在classpath中加n入mysql的驱动仍不行解决方法：在启动的时候加入参数--driver-class中加入mysql 驱动 [hadoop@master spark-1.0.1-bin-hadoop2]$ bin/spark-shell --driver-class-path lib ...
分类：
数据库 时间：
2016-08-10 12:31:34
阅读次数：
242
当使用spark连接hive时，无论是通过spark-submit提交作业，还是使用spark-shell,spark-sql 都会报以下错误： Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeExcep ...
分类：
其他好文 时间：
2016-08-09 09:26:29
阅读次数：
4378
scala> val textFile = sc.textFile("/Users/admin/spark-1.5.1-bin-hadoop2.4/README.md") scala> val topWord = textFile.flatMap(_.split(" ")).filter(!_.is ...
分类：
系统相关 时间：
2016-08-02 22:17:22
阅读次数：
233
