Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,60 Jim,DataStructure,80 ....... 根据给定的数据在spark-shell中通过编程来计算以下内容 （1 ...
分类：
系统相关 时间：
2019-03-14 13:23:40
阅读次数：
352
1.前提 首先是hadoop的两个服务要开启 然后是hive 的metastore 然后启动spark-shell，如果没有启动hive的metastore，则会在这一步报错，说找不到hive的9083端口。至于启动spark-shell，则是为了看4040端口上的JDBS/ODBC服务 然后启动h ...
分类：
数据库 时间：
2019-01-25 11:31:50
阅读次数：
256
一、Spark交互式命令行 启动脚本：spark-shell 先启动spark：./start-all.sh 本地模式启动命令：/bin/spark-shell 集群模式启动命令：/bin/spark-shell --master spark://spark-1:7077 --total-execu ...
分类：
其他好文 时间：
2019-01-13 10:59:28
阅读次数：
197
执行spark-shell报错： [ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.NoClassDefFoundError: Could not initialize class scala.t ...
分类：
系统相关 时间：
2018-11-24 16:34:15
阅读次数：
413
不想看废话的可以直接拉到最底看总结 废话开始： master： master主机存在文件，却报 执行spark-shell语句： ./spark-shell --master spark://master:7077 --executor-memory 1G --total-executor-core ...
分类：
编程语言 时间：
2018-11-22 14:35:21
阅读次数：
308
spark-shell --master yarnsc:val lineRDD=sc.textFile("/test/input/test")lineRDD.collect().foreach(println)val wordRDD = lineRDDwordRDD.collect().foreac ...
分类：
其他好文 时间：
2018-11-10 16:47:32
阅读次数：
190
显示所有数据库 选择数据库并显示所有表 查询表数据 RDD -- DataFrame -- select API -- 创建临时表 -- 查询 ...
分类：
系统相关 时间：
2018-10-16 21:57:26
阅读次数：
414
JMX即java管理扩展服务 1、先在s101开启nc服务端 2、先开启spark shell 3、使用shell 数据 ...
分类：
其他好文 时间：
2018-10-11 22:36:06
阅读次数：
169
安装 1、解压并添加软链接 2、添加环境变量 3、source生效 4、启动spark shell ...
分类：
其他好文 时间：
2018-10-09 21:42:17
阅读次数：
137
Spark Shell 实现 Word Count ...
分类：
系统相关 时间：
2018-10-08 20:43:12
阅读次数：
229
