1. 获取安装包下载链接 1. 获取安装包下载链接 访问https://kafka.apache.org/downloads 找到kafka对应版本 需要与服务器安装的scala版本一致（运行spark-shell可以看到当前安装的scala版本） 2. 执行命令下载并安装 cd /usr/loca ...
分类：
其他好文 时间：
2019-12-28 22:47:01
阅读次数：
89
本文从实践出发，介绍如何在windows环境下搭建scala环境，让你可以使用Spark语言继续自己的大数据之旅，增添一点乐趣。同时指出大部分朋友在初次运行spark-shell会遇到的报错：ERROR Shell： Failed to locate the winutils binary in t... ...
上一篇说到Spark的yarn client运行模式，它与yarn cluster模式的主要区别就是前者Driver是运行在客户端，后者Driver是运行在yarn集群中。yarn client模式一般用在交互式场景中，比如spark shell, spark sql等程序，但是该模式下运行在客户端 ...
分类：
其他好文 时间：
2019-11-18 22:14:29
阅读次数：
101
视频目录： Spark入门| 01 Spark概念架构 Spark入门| 02 Spark集群搭建 Spark入门| 03 Spark Shell算子操作 Spark入门| 04 Spark单词计数Shell操作 Spark入门| 05 IDEA中编写Spark单词计数程序 Spark入门| 06 ...
分类：
其他好文 时间：
2019-09-29 22:07:48
阅读次数：
127
1、进入spark-shell窗口 2、 3、 hdfs://cdp是defaultFS，也可以不写，如下: 4、 参考:https://www.jianshu.com/p/57b20d9d7b4a?utm_campaign=maleskine&utm_content=note&utm_medium ...
分类：
系统相关 时间：
2019-09-21 14:52:27
阅读次数：
234
公司的hadoop集群是之前的同事搭建的，我(小白一个)在spark shell中读取hdfs上的文件时，执行以下指令 >>> word=sc.textFile("hdfs://localhost:9000/user/hadoop/test.txt") >>> word.first() 报错：jav ...
分类：
编程语言 时间：
2019-08-15 11:00:54
阅读次数：
242
/* from: https://blog.csdn.net/ryanzhongj/article/details/80677281 */ 1、启动spark-shell报错： 需要在%SPARK_HOME%\conf目录下新建spark-env.cmd文件，添加内容：# for语句用在批处理命令中 ...
参考： https://blog.csdn.net/dingyuanpu/article/details/52623655 https://www.cnblogs.com/feiyudemeng/p/9254046.html http://dequn.github.io/2016/11/08/pho ...
分类：
系统相关 时间：
2019-07-04 00:22:10
阅读次数：
174
上个版本号的start.scala用的是HiveContext。这个是SQLContext的，不需编译。 # cat testperson.txt #字段用table键分隔 zs 10 30.0 li 12 32.0 # spark-shell -i:start.scala scala> help ...
分类：
数据库 时间：
2019-05-25 09:32:21
阅读次数：
98
自从公司使用大数据产品之后，就很少碰开源的东西了，集群出问题也是跟研发沟通，前些天有朋友问我，怎么能把hive底层的引擎换成spark，我想了想，是不是将hive的数据库共享给spark然后用spark-shell不就好了，后来查了查资料，原来不是这样的，这里面的操作还挺多了。哎，真的是，用了别人产品，开发是方便了，原理懂的就少了，小编一直还沉浸在用一条SQL底层就能转换的
分类：
其他好文 时间：
2019-05-12 01:07:14
阅读次数：
171
