1.选取三台服务器（CentOS系统64位）114.55.246.88主节点114.55.246.77从节点114.55.246.93从节点之后的操作如果是用普通用户操作的话也必须知道root用户的密码，因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上问题。我是用root用户操作的。2.修改host..
分类：
其他好文 时间：
2017-08-17 19:58:17
阅读次数：
197
Spark2.x 引入了很多优秀特性，性能上有较大提升，API 更易用。在“编程统一”方面非常惊艳，实现了离线计算和流计算 API 的统一，实现了 Spark sql 和 Hive Sql 操作 API 的统一。Spark 2.x 基本上是基于 Spark 1.x 进行了更多的功能和模块的扩展，及性 ...
分类：
其他好文 时间：
2017-07-28 14:43:21
阅读次数：
140
环境： hadoop2.6.0 jdk1.8 ubuntu 14.04 64位 1 安装scala环境 版本是scala-2.10.6，官网下载地址http://www.scala-lang.org/download/ ps：这里最好用jdk1.8配合这个scala版本，不然可能会报错，不过我看有些 ...
分类：
其他好文 时间：
2017-07-24 00:04:41
阅读次数：
252
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sch ...
分类：
编程语言 时间：
2017-07-22 12:13:35
阅读次数：
242
node1192.168.1.11node2192.168.1.12node3192.168.1.13备注NameNodeHadoopYY高可用DateNode YYYResourceManager YY高可用NodeManagerYYYJournalNodes YYY奇数个,至少3个节点ZKFC（... ...
分类：
其他好文 时间：
2017-06-28 14:26:14
阅读次数：
674
spark2.1与hadoop2.7.3集成，spark on yarn模式下，需要对hadoop的配置文件yarn-site.xml增加内容，如下： 1、我先运行一个spark程序 bin/spark-shell --master local 2、登录Spark History server的we ...
分类：
其他好文 时间：
2017-06-23 18:20:54
阅读次数：
254
这里默认你的hadoop是已经安装好的，master是node1，slaver是node2-3，hdfs启动在node1，yarn启动在node2，如果没安装好hadoop可以看我前面的文章 因为这里是spark和hadoop集成，我已经预先启动好了hdfs 和 yarn；MapReduce His ...
分类：
其他好文 时间：
2017-06-23 16:26:22
阅读次数：
307
在2.0版本之前，使用Spark必须先创建SparkConf和SparkContext，不过在Spark2.0中只要创建一个SparkSession就够了，SparkConf、SparkContext和SQLContext都已经被封装在SparkSession当中。 在与spark2.0交互之前必须 ...
分类：
其他好文 时间：
2017-06-18 15:15:24
阅读次数：
181
通过上一节内容，DriverEndpoint最终生成多个可执行的TaskDescription对象，并向各个ExecutorEndpoint发送LaunchTask指令，本节内容将关注ExecutorEndpoint如何处理LaunchTask指令，处理完成后如何回馈给DriverEndpoint， ...
分类：
其他好文 时间：
2017-06-09 11:14:59
阅读次数：
199
二、Spark2.x 介绍 2.1 Spark2.x 与 Spark1.x 关系 Spark2.x 引入了很多优秀特性，性能上有较大提升，API 更易用。在“编程统一”方面非常惊艳，实现了离线计算和流计算 API 的统一，实现了 Spark sql 和 Hive Sql 操作 API 的统一。Spa... ...
分类：
其他好文 时间：
2017-06-08 14:58:05
阅读次数：
551
