环境： 操作系统：windows10 虚拟机工具：VMware14.1 LINUX版本：Centos7.2 ...
分类：
编程语言 时间：
2018-02-24 15:07:04
阅读次数：
152
spark集群搭建及介绍：敬请关注 数据集：http://pan.baidu.com/s/1sjYN7lF 总结：使用sparkR进行数据分析建模相比R大致有3-5倍的提升 查看原始数据集：通过iris数据集生成 [root@master data]#pwd /data [root@master d ...
分类：
其他好文 时间：
2018-02-09 22:29:44
阅读次数：
201
因为看到我参考的Hadoop/spark集群搭建的文档中的都没有对 /spark-default.conf 的配置 合理地对 /spark-default.conf 进行配置，能够提高执行效率 先cp复制模板文件 然后添加配置信息 ...
分类：
其他好文 时间：
2017-06-09 00:52:48
阅读次数：
610
安装spark包 修改spark-env.sh文件 修改slaves文件 spark1 spark2 spark3 安装spark集群 在另外两个节点进行一模一样的配置，使用scp将spark和.bashrc拷贝到spark2和spark3即可。 启动spark集群 ...
分类：
其他好文 时间：
2017-04-17 10:05:24
阅读次数：
221
spark集群搭建 elasticsearch读写数据 spark集群搭建 spark官网：http://spark.apache.org 各个版本：spark-2.1.0， java 1.8.0_121以及elasticsearch-5.2.0 本集群利用的是spark的独立集群管理器 准备N台服 ...
分类：
其他好文 时间：
2017-03-09 16:58:23
阅读次数：
206
今晚听了王家林老师的第六课精通Spark集群搭建和测试，课后作业是：搭建自己的spark环境并成功运行pi，我的总结如下：1 硬件环境：至少8GB内存，推荐金士顿内存，虚拟机推荐Ubuntu kylin版本，可以安装各种办公软件包括搜狗输入法。上网方式：Nat,root权限登录，避免权限问题2.软件...
分类：
其他好文 时间：
2016-01-06 23:17:06
阅读次数：
215
作者：周志湖
网名：摇摆少年梦
微信号：zhouzhihubeyond本节主要内容
操作系统环境准备
Hadoop 2.4.1集群搭建
Spark 1.5.0 集群部署
注：在利用CentOS 6.5操作系统安装spark 1.5集群过程中，本人发现Hadoop 2.4.1集群可以顺利搭建，但在Spark 1.5.0集群启动时出现了问题（可能原因是64位操作系统原因，源码需要重新编译，但本人没经...
分类：
其他好文 时间：
2015-12-28 22:09:41
阅读次数：
246
1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建，IntellijIDEASpark开发环境搭建,SparkShell的使用等。2.Spark运行原理。内容包括spark脚本文件解析、Spark几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark任务调度等。3.Spark编程模型，介绍Spark编程模..
分类：
其他好文 时间：
2015-10-13 12:22:05
阅读次数：
242
Spark集群环境搭建2015年09月27日中秋节，祝中秋快乐团圆1安装jdk略2安装scala在http://www.scala-lang.orgscala官网下载安装包，这里以scala-2.11.7为例：1）下载scala-2.11.7.tgz2）在目录下解压缩：tar-xzvfscala-2.11.7.tgz3）配置环境变量，在/etc/profile中添加以下的内..
分类：
其他好文 时间：
2015-09-27 11:19:35
阅读次数：
169
构造分布式的Spark1.0.2集群下载Scala 2.10.4，具体下载地址：http://www.scala-lang.org/download/2.10.4.html在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载；安装和配置Scala我们需要在ma...
分类：
其他好文 时间：
2015-09-21 17:29:06
阅读次数：
221
