spark-shell/spark-submit/pyspark等关系如下： ...
分类：
其他好文 时间：
2018-09-29 13:00:58
阅读次数：
162
spark-shell 作用： 调用spark-submit脚本，如下参数 --classorg.apache.spark.repl.Main --name "Spark shell" "$@"，如下： 具体流程是： #1 捕获终端信号，执行退出方法，恢复一些操作 #2 保存终端配置，当cygwin ...
分类：
系统相关 时间：
2018-09-29 11:18:21
阅读次数：
305
1 单机环境搭建 系统环境 配置jdk8 配置spark 从http://spark.apache.org/downloads.html 下载最新版spark预编译包并解压。 2 spark shell sh $ spark shell master local[2] 2018 09 02 16:1 ...
分类：
其他好文 时间：
2018-09-02 20:09:55
阅读次数：
279
## 02、体验Spark shell下RDD编程 ### 1、Spark RDD介绍 RDD是Resilient Distributed Dataset，中文翻译是弹性分布式数据集。该类是Spark是核心类成员之一，是贯穿Spark编程的始终。初期阶段，我们可以把RDD看成是Java中的集合就可以... ...
分类：
其他好文 时间：
2018-08-27 21:39:47
阅读次数：
129
spark快速入门：下载spark、解压spark、运行案例及交互式shell、使用spark shell进行交互式分析、独立应用
分类：
其他好文 时间：
2018-08-24 00:28:57
阅读次数：
215
在spark中运行./spark-shell --master YARN-client --num-executors 3 --executor-memory 1g是碰到如下的问题： biaoshi 表示资源不足，可能是内存不足或者core不足，于是就将1g改为512m，运行成功 以spark-cl ...
分类：
其他好文 时间：
2018-08-16 23:45:50
阅读次数：
280
Application: Application是创建了SparkContext实例对象的Spark用户，包含了Driver程序, Spark-shell是一个应用程序，因为spark-shell在启动的时候创建了一个SparkContext对象，其名称为sc,也就是说只要创建一个SparkCont ...
分类：
其他好文 时间：
2018-07-20 13:58:42
阅读次数：
159
1.准备工作 1.1 安装spark，并配置spark-env.sh 使用spark-shell前需要安装spark，详情可以参考http://www.cnblogs.com/swordfall/p/7903678.html 如果只用一个节点，可以不用配置slaves文件，spark-env.sh文 ...
分类：
系统相关 时间：
2018-07-06 18:30:32
阅读次数：
172
18/06/24 16:41:40 ERROR spark.SparkContext: Error initializing SparkContext.java.net.BindException: Cannot assign requested address: Service 'sparkDri ...
分类：
系统相关 时间：
2018-06-24 18:03:49
阅读次数：
758
前言 离线安装好CDH、Coudera Manager之后，通过Coudera Manager安装所有自带的应用，包括hdfs、hive、yarn、spark、hbase等应用，过程很是波折，此处就不抱怨了，直接进入主题。 描述 在安装有spark的节点上，通过spark-shell启动spark， ...
分类：
系统相关 时间：
2018-06-13 23:40:03
阅读次数：
325
