启动hiveserver2：hiveserver2 --hiveconf hive.execution.engine=spark spark.master=yarn使用beeline连接hiveserver2：beeline -u jdbc:hive2://hadoop000:10000 -n sp...
分类：
其他好文 时间：
2015-03-12 18:56:16
阅读次数：
835
基于Hadoop2.0、YARN技术的大数据高阶应用实战(Hadoop2.0\YARN\MapReduce\数据挖掘\项目实战)课程分类：Hadoop适合人群：高级课时数量：81课时用到技术：基于协同过滤的推荐系统、基于HBase的爬虫调度库涉及项目：银行人民币查询系统、HBase编程实践及案例分析...
分类：
其他好文 时间：
2015-03-11 16:34:36
阅读次数：
138
基于Hadoop2.0、YARN技术的大数据高阶应用实战(Hadoop2.0\YARN\MapReduce\数据挖掘\项目实战)课程分类：Hadoop适合人群：高级课时数量：81课时用到技术：基于协同过滤的推荐系统、基于HBase的爬虫调度库涉及项目：银行人民币查询系统、HBase编程实践及案例分析...
分类：
其他好文 时间：
2015-03-10 15:19:43
阅读次数：
155
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。
由于篇幅较长，所以在这里分篇组织，如果要看最新完整的网页版内容，可以戳这里：http://spark-config.readthedocs.org/，主要是便于更新内容
...
分类：
其他好文 时间：
2015-03-05 19:28:31
阅读次数：
210
1、机器准备，职责划分如下：机器名称IP地址NameNodeDataNodeJournalNodeZooKeeperZKFCHA-Cluster1HA-Cluster2Resource ManagerNode Managerhadoop01192.168.147.101Active√√nn1√had...
分类：
其他好文 时间：
2015-02-28 12:48:39
阅读次数：
292
本文主要通过官方文档、相关论文、业界公司和产品三个方面来论述Spark安全威胁及其建模方法，详细内容如下。
第1章 官方文档[1]
目前Spark支持共享密码的认证方式。可以通过设置spark.authenticate这个参数实现，这个参数控制Spark的通信协议是否用共享的密码进行验证。这个认证协议是一个基础的握手协议，通过令通信双方具有相同共享密码保证其之间能够直接通信。如果共享的密码不相同，那么他们将不会被允许通信。共享密码通过如下方式生成：
? 对于Spark在yarn上...
分类：
其他好文 时间：
2015-02-28 08:54:49
阅读次数：
280
1.概述 在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（High Available 高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN，执行步骤如下：创建hadoop用户安装JDK配置hosts安装SSH关闭防火墙修改时区ZK（安装，启动，验证）HDFS＋HA的结构图角....
分类：
其他好文 时间：
2015-02-25 16:49:55
阅读次数：
258
背景
主体逻辑
具体实现
AM
YarnAllocator
Executor背景Spark on Yarn分yarn-cluster和yarn-client两种模式。
本文通过Cluster模式的TaskScheduler实现入手，梳理一遍spark on yarn的大致实现逻辑。
前提我对两种模式以及yarn任务的整体运行逻辑不是很清楚。
主体逻辑cluster模式中，使用的TaskSche...
分类：
其他好文 时间：
2015-02-15 18:06:53
阅读次数：
215
今天用sbin/start-yarn.sh启动yarn的时候，遇到下面的错误java.lang.IllegalArgumentException: Does not contain a valid host:port authority: master at org.apache.hadoop.ne...
分类：
其他好文 时间：
2015-02-13 19:46:12
阅读次数：
217
一、hadoop集群环境配置参见：《Hadoop2.6集群环境搭建（HDFS HA+YARN）原来4G内存也能任性一次.》Win7环境：登录用户名：hadoop , 与Hadoop集群中的Linux环境用户统一。a.在SY-0130节点上修改hdfs-site.xml加上以下内容 ，并同步修改到其他...
