-- 默认情况下，SparkContext对象在spark-shell启动时用namesc初始化。使用以下命令创建SQLContext。 val sqlcontext = new org.apache.spark.sql.SQLContext(sc) -- employee.json-将此文件放在c... ...
分类：
Web程序 时间：
2018-01-09 18:46:47
阅读次数：
294
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法：add expor ...
分类：
其他好文 时间：
2017-12-22 16:00:31
阅读次数：
1523
notebook方式运行spark程序是一种比较agile的方式，一方面可以体验像spark shell那样repl的便捷，同时可以借助notebook的作图能力实现快速数据可视化，非常方便快速验证和demo。notebook有两种选择，一种是ipython notebook，主要针对pyspark ...
分类：
其他好文 时间：
2017-12-16 14:52:04
阅读次数：
1934
1.拷贝hive-site.xml到spark/conf下，拷贝mysql-connector-java-xxx-bin.jar到hive/lib下 2.开启hive元数据服务：hive --service metastore 3.开启hadoop服务：sh $HADOOP_HOME/sbin/st ...
分类：
系统相关 时间：
2017-12-05 13:25:28
阅读次数：
491
上篇文章介绍了推荐引擎算法在spark-shell中的操作，实际环境中我们不会仅仅运行一次， 更多的是一次编译多次运行，今天我们开始实验二，不过上次实验的笔录很有用哦。 一，处理数据。 def PrepareData(): (RDD[Rating], Map[Int, String]) = { va ...
分类：
编程语言 时间：
2017-11-21 01:03:46
阅读次数：
219
基础 Spark的shell作为一个强大的交互式数据分析工具，提供了一个简单的方式学习API。它可以使用Scala(在Java虚拟机上运行现有的Java库的一个很好方式)或Python。在Spark目录里使用下面的方式开始运行： [plain] view plain copy ./bin/spark ...
分类：
系统相关 时间：
2017-10-30 14:18:08
阅读次数：
221
import org.apache.log4j.Logger import org.apache.log4j.LevelLogger.getLogger("org").setLevel(Level.OFF)Logger.getLogger("akka").setLevel(Level.OFF) ...
分类：
系统相关 时间：
2017-10-23 12:51:35
阅读次数：
206
配好了Spark集群后,先用pyspark写了两个小例子，但是发现Tab键没有提示，于是打算转到scala上试试，在spark-shell下有提示了，但是发现不能退格，而且提示也不是复写，而是追加，这样根本就没法写程序. 解决办法： 1.打开会话选项 2.终端-仿真 在终端中选择Linux 3.映射 ...
分类：
系统相关 时间：
2017-10-14 16:52:24
阅读次数：
248
1.spark编译版安装 首先去官网下载 http://spark.apache.org/downloads.html 页面上有下载按键点击 之后选择对应的编译的Hadoop版本 2 下载完成之后解压 进入解压文件夹的bin目录 其中 spark-shell 是运行scale语言的命令窗口，pysp ...
分类：
其他好文 时间：
2017-09-23 20:20:34
阅读次数：
135
debug environment:scala, abt, git bash, eclipse scala ide plugin spark-shell: 1spark-shell →spark-submit→(SparkSubmit)spark-class 2open jvm→thread dum ...
分类：
其他好文 时间：
2017-09-20 10:16:21
阅读次数：
168
