报错如下 需要在yarn site.xml中添加如下配置 分发 并重启 ,再试一次 就可以了. FIN ...
分类：
系统相关 时间：
2018-06-06 21:40:39
阅读次数：
423
所有过程按本人实验并以本人能够接受的方式理解的，大家可以参考，如有问题请留言指正。样本数据[hadoop@h201 ~]$ cat hh.txt hello,worldhello,hadoophello,oraclehadoop,oraclehello,worldhello,hadoophello,oraclehadoop,oracle 词频统计，及其按单词数量倒序排序过程及其详解1.将
分类：
系统相关 时间：
2018-04-28 16:56:00
阅读次数：
711
1、将下载的hanlp-portable-1.6.2.jar复制到集群spark/jar文件夹下面 2、启动spark集群 spark/bin/spark-shell --executor-memory 6g --driver-memory 1g --executor-cores 2 --num-e ...
分类：
其他好文 时间：
2018-04-06 12:31:07
阅读次数：
161
1)、 登录spark ssh root@133.37.23.88 /home/mr/spark/bin/beeline -u "jdbc:hive2://133.37.23.88:18000/zxvmax" -n mr -p "" 2)、 在spark——shell 新开辟一个空间跑任务，(在跑s ...
分类：
其他好文 时间：
2018-04-02 13:47:52
阅读次数：
162
最近工作中把一些sql.sh脚本执行hive的语句升级为spark2.1版本，其中遇到将case when 替换为scala操作df的方式实现的问题： 代码数据： 错误代码： 错误的愿意就是这里的判定是否为空的地方。 正确用法： 疑问代码，如下代码在spark-shell中执行没有问题，但是使用sp ...
分类：
其他好文 时间：
2018-03-08 00:19:56
阅读次数：
332
转自：http://blog.csdn.net/huanbia/article/details/51318278 问题描述 当使用SecureCRT来打开Spark-shell的时候，有时会出现如下问题，当输错的时候想要按Backspace（退格键）或“Delete(删除键)”的时候，无法删除前面删 ...
分类：
系统相关 时间：
2018-03-04 23:01:43
阅读次数：
268
Spark shell引入第三方包 如何引入 spark shell jars path/nscala time_2.10 2.12.0.jar 若有多个jar包需要导入，中间用逗号隔开即可。 参考 http://blog.51cto.com/tuntunwang/1906506 ...
分类：
系统相关 时间：
2018-02-24 20:40:25
阅读次数：
194
1：spark shell仅在测试和验证我们的程序时使用的较多，在生产环境中，通常会在IDE中编制程序，然后打成jar包，然后提交到集群，最常用的是创建一个Maven项目，利用Maven来管理jar包的依赖。 2：配置Maven的pom.xml： 注意：配置好pom.xml以后，点击Enable A ...
分类：
其他好文 时间：
2018-02-23 20:45:55
阅读次数：
473
1：启动Spark Shell，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用scala编写spark程序。 启动Spark Shell，出现的错误如下所示： 2：解决方法，是你必须先启动你的Spark集群，这样再启动Spark Shel ...
分类：
编程语言 时间：
2018-02-22 21:28:43
阅读次数：
3123
我们可以选择使用spark-shell，spark-submit或者编写代码的方式运行Spark。在产品环境下，利用spark-submit将jar提交到spark，是较为常见的做法。但是在开发期间，每次都需要编译jar去做提交是一件麻烦事儿。尤其是在IDE例如IntelliJ Idea下，更直接的 ...
分类：
其他好文 时间：
2018-01-16 18:16:50
阅读次数：
757
