Hadoop2.6集群环境搭建（HDFSHA+YARN）原来4G内存也能任性一次。准备工作：1、笔记本4G内存，操作系统WIN7（屌丝的配置）2、工具VMwareWorkstation3、虚拟机：CentOS6.4共四台虚拟机设置：每台机器：内存512M，硬盘40G，网络适配器：NAT模式选择高级，新生成虚机Mac地址（克隆..
分类：
其他好文 时间：
2015-01-19 06:58:46
阅读次数：
279
从hadoop 1.2.1升级到 Hadoop2.6.0，调试写代码，还是遇到一些问题的。这里记录一下，后续如果自己再遇到类似问题，那也好找原因了。在eclipse里编译运行 WordCount，出现以下错误。Exception in thread "main" java.lang.NoClassD...
分类：
移动开发 时间：
2015-01-19 00:14:12
阅读次数：
564
Hadoop的前景随
着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企
业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及
Android程..
分类：
其他好文 时间：
2015-01-14 18:25:07
阅读次数：
169
NimbusServer相当于hadoop里的JobTracker或yarn里的ResourceManager，在集群中属于首脑地位，负责分发任务，监控集群状态，与supervisor的通信主要通过Zookeeper。nimbus在启动过程中会做以下工作，以保证集群稳定运行：
1、清理无效topology
2、建立zk连接并创建相应znode
3、启动监控线程
4、启动httpserver...
分类：
Web程序 时间：
2015-01-13 15:58:30
阅读次数：
403
转自:链接地址: http://dongxicheng.org/framework-on-yarn/apache-spark-comparing-three-deploying-ways/ 目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和...
分类：
Web程序 时间：
2015-01-13 14:02:09
阅读次数：
169
Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra,...
分类：
Web程序 时间：
2015-01-13 01:28:23
阅读次数：
278
Hadoop2.6集群环境搭建（HDFS HA+YARN）原来4G内存也能任性一次。准备工作：1、笔记本4G内存 ，操作系统WIN7 （屌丝的配置）2、工具VMware Workstation3、虚拟机：CentOS6.4共四台虚拟机设置：每台机器：内存512M，硬盘40G，网络适配器：NAT模式选...
分类：
其他好文 时间：
2015-01-12 11:32:39
阅读次数：
217
最近线上的rmcrash了一次，查看日志，发现有如下报错：2015-01-0518:00:11,523ERRORorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler:RequestforappInfoofunknownattemptappattempt_1418702129929_2281200_000001
2015-01-0518:00:11,524ERRORorg...
分类：
其他好文 时间：
2015-01-12 06:54:36
阅读次数：
346
最近从Hadoop 1.x 转到Hadoop 2.x 同时将一些java 程序转为Scala的程序将平台上的代码减少了很多，在实施的过程中，开到一些Spark相关的YARN的部署上都是基于之前的Hadoop 1.x的部分方式，在Hadoop2.2 +版本之上 基本上就不用这么部署了。其原因就是Had...
分类：
其他好文 时间：
2015-01-10 01:03:07
阅读次数：
237
Hadoop2.4.1 64-Bit QJM HA and YARN HA Install + Zookeeper-3.4.6 + Hbase-0.98.8-hadoop2-bin HA（Hadoop2.4.1(QJM方式的HDFS NameNode HA，YARN ResourceManager ...
分类：
其他好文 时间：
2015-01-09 22:12:06
阅读次数：
788
