一：实验环境：节点OSIP(eth0)DRBD_IP(eth1)VIPDRBD_DISKweb1sles11sp2192.168.10.11172.16.1.1192.168.10.100/dev/sdbweb2sles11sp2192.168.10.12172.16.1.2注：节点web1和web2操作系统完全安装（gnome桌面环境）IP已按上图设置好节点web1和web2都添加了一块大小为2G的硬盘作..
分类：
其他好文 时间：
2015-07-02 17:51:41
阅读次数：
377
参考的文章：http://www.cnblogs.com/smartloli/p/4298430.html 当然，在操作的过程中，发现与上述文章中描述的还是有一些小小的区别。 配置好后，start-dfs.sh start-yarn.sh之后，相关的进程，会自动被启动。包括 namenode两个进程...
分类：
其他好文 时间：
2015-07-02 08:42:22
阅读次数：
129
Hadoop原理 分为HDFS与Yarn两个部分。HDFS有Namenode和Datanode两个部分。每个节点占用一个电脑。Datanode定时向Namenode发送心跳包，心跳包中包含Datanode的校验等信息，用来监控Datanode。HDFS将数据分为块，默认为64M每个块信息按照配置的参...
分类：
其他好文 时间：
2015-06-30 12:29:40
阅读次数：
221
Hadoop的两大功能：海量数据存储和海量数据分析
Hadoop2的三大核心组件是：HDFS、MapperReducer和yarn
1、HDFS：分布式文件系统海量数据存储
2、MapperReducer：运算框架，海量数据分析
3、yarn：资源调度管理集群
HDFS工作机制：基于namenode和datanode
1、namenode:响应客户端的请求；负责维护整个...
分类：
其他好文 时间：
2015-06-27 16:40:29
阅读次数：
203
在迁移相关的spark程序到yarn的过程中间，对有些地方的配置进行了调整和优化， 总结起来，常用的一些设置如下:
1. spark.serializer 对象的序列化设置可以设置成spark的序列化类型，相对比较高效和紧凑，网络传输性能比较好
2. spark.kryoserializer.buffer.mb 用来设置对象序列化占用空间大小，当对象比较大的时候需要设置这个选项
3. spa...
分类：
其他好文 时间：
2015-06-26 11:03:05
阅读次数：
6192
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKe...
分类：
其他好文 时间：
2015-06-25 12:18:17
阅读次数：
223
IT-培训基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析Hadoop2.0_YARN_Spark_Storm_Tez技术培训视频教程基于IBM Cognos Report studio技术的商业智能解决方案(广播分发报表、EVENT STUDIO)基于IBM Cog...
分类：
其他好文 时间：
2015-06-24 08:10:41
阅读次数：
172
MRv1缺点1、JobTracker容易存在单点故障2、JobTracker负担重，既要负责资源管理，又要进行作业调度；当需处理太多任务时，会造成过多的资源消耗。3、当mapreduce job非常多的时候，会造成很大的内存开销，在
TaskTracker端，以mapreduce task的数目作为资源的表示过于简单，没有考虑到cpu以及内存的占用情况，如果两个大内存消耗的task被调度到了一块，...
分类：
其他好文 时间：
2015-06-23 23:12:30
阅读次数：
2933
目的此文档描写叙述了FairScheduler, Hadoop 的一个可插入式的调度器，同意 YARN 应用在一个大集群中公平地共享资源。简单介绍公平调度是一种分配资源给应用的方法。以致到最后，平均上全部应用获得相等的资源。 Hadoop NextGen 可以调度多种类型的资源。默认的， Fair ...
分类：
其他好文 时间：
2015-06-23 19:33:32
阅读次数：
186
出现这个问题，是因为spark的excutor执行的时候，缺少hive的依赖包，添加依赖包的参数是：--conf "spark.executor.extraClassPath=/opt/cloudera/parcels/CDH-5.3.1-1.cdh5.3.1.p0.5/lib/hive/lib/*...
分类：
数据库 时间：
2015-06-23 13:30:45
阅读次数：
337
