REPL Spark REPL Spark shell 下面我们启动一下（我这里搭建的是3节点集群） sc.后面按TAB键可以把提示调出来 查看hdfs上文件内容 这个数据从这里下载的 https://www.sogou.com/labs/resource/q.php 试下读下里面的数据 这个可以求 ...
分类：
系统相关 时间：
2017-08-24 01:07:14
阅读次数：
160
spark-shell不支持yarn cluster，以yarn client方式启动 启动日志，错误信息如下 其中“Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries ...
分类：
移动开发 时间：
2017-08-10 01:31:02
阅读次数：
389
1.安装Hive 如果想创建一个数据库用户，并且为数据库赋值权限，可以参考：http://blog.csdn.net/tototuzuoquan/article/details/52785504 2.将配置好的hive-site.xml、core-site.xml、hdfs-site.xml放入$S ...
分类：
数据库 时间：
2017-07-18 00:00:26
阅读次数：
1656
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException:Can‘tassignrequestedaddress:Service‘sparkDriver‘failedafter16retries!解决方法：addexportSPARK_LOCAL_IP="127.0.0.1"tospark-env.sh2、javaKafkaproducererror:ERRORkafka.utils.Utils$-fetchingtopic..
分类：
其他好文 时间：
2017-07-04 23:21:28
阅读次数：
1329
背景 spark-shell是一个scala编程解释运行环境，能够通过编程的方式处理逻辑复杂的计算，但对于简单的类似sql的数据处理，比方分组求和，sql为”select g,count(1) from sometable group by g”，须要写的程序是： val hive = neworg ...
分类：
其他好文 时间：
2017-07-03 11:57:42
阅读次数：
159
http://blog.csdn.net/qq_16038125/article/details/72568897 ...
分类：
系统相关 时间：
2017-06-27 08:11:02
阅读次数：
220
spark2.1与hadoop2.7.3集成，spark on yarn模式下，需要对hadoop的配置文件yarn-site.xml增加内容，如下： 1、我先运行一个spark程序 bin/spark-shell --master local 2、登录Spark History server的we ...
分类：
其他好文 时间：
2017-06-23 18:20:54
阅读次数：
254
spark-shell 启动 spark-shell 通常需要指定 master、executor 内存、executor 数量等参数。由于 YARN 集群有审计机制，每个人提交的 spark application 需要指定 name 参数，同时确保 name 是以个人的 LDAP 用户名为后缀。 ...
分类：
其他好文 时间：
2017-06-13 21:09:57
阅读次数：
260
下载了spark 1.4，执行spark-shell时遇到以下错误： java.net.UnknownHostException: UKON-M-Q0EP: UKON-M-Q0EP: nodename nor servname provided, or not known at java.net.I ...
分类：
系统相关 时间：
2017-06-11 10:14:59
阅读次数：
349
在Spark 集群上运行一个应用,只需通过master的 spark://IP:PORT 链接传递到SparkContext构造器 在集群上运行交互式的Spark 命令, 运行如下命令： 注意，如果你在一个 spark集群上运行了spark-shell脚本，spark-shell 将通过在conf/ ...
分类：
系统相关 时间：
2017-05-16 23:29:30
阅读次数：
563
