这里介绍一下hadoop的组成，
hadoop主要由两部分组成，，一个是hdfs，还有一个是mapreduce这两个部分在hadoop
2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本号中有了一个新名字yarn.dfs 主要用来启动
nam...
分类：
其他好文 时间：
2014-06-06 19:27:24
阅读次数：
322
Hadoop2.0是对Hadoop1.0全面升级，诞生了通用的计算框架YARN，很多计算框架或者应用程序不再基于传统的操作系统开发，而是基于YARN这个云操作系统。典型的代表是DAG计算框架Tez，当然还有一些其他知名的自运行的计算集群系统也在YARN上有开源版本，比如Storm-on-yarn，S...
分类：
其他好文 时间：
2014-06-03 13:09:44
阅读次数：
336
测试版本：CDH5.0,（Hadoop2.3）在使用windows调用Hadoop yarn平台的时候，一般都会遇到如下的错误：2014-05-28 17:32:19,761 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exception from container-launch with co...
分类：
其他好文 时间：
2014-06-03 06:26:17
阅读次数：
277
YARN总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为Slave，ResouceManager负责对各个NodeManager上的资源进行统一管理和调度。当用户提交一个应用程序时，需要提供一个用以跟踪和管理这个程...
分类：
其他好文 时间：
2014-06-02 22:20:44
阅读次数：
377
hadoop yarn的重构，根本的思想是将 JobTracker 两个主要的功能分离成单独的组件，这两个功能是资源管理和任务调度 / 监控。新的资源管理器全局管理所有应用程序计算资源的分配，每一个应用的 ApplicationMaster 负责相应的调度和协调。一个应用程序无非是一个单独的传统的 MapReduce 任务或者是一个 DAG( 有向无环图 ) 任务。ResourceManager 和每一台机器的节点管理服务器能够管理用户在那台机器上的进程并能对计算进行组织。...
分类：
其他好文 时间：
2014-06-02 02:27:16
阅读次数：
332
x86台式机，window7 64位系统
wmware虚拟机(x86的台式机至少是4G内存，才能开2台虚机)
centos6.4操作系统
hadoop-2.2.0.tar.gz
jdk-6u24-linux-i586.bin
WinScp 远程文件传输工具，很好用。可以用于windows和虚拟机Linux之间文件相互拷贝。...
分类：
其他好文 时间：
2014-06-02 02:23:23
阅读次数：
315
Spark1.0出来了，变化还是挺大的，文档比以前齐全了，RDD支持的操作比以前多了一些，Spark on
yarn功能我居然跑通了。但是最最重要的就是多了一个Spark
SQL的功能，它能对RDD进行Sql操作，目前它只是一个alpha版本，喜欢尝鲜的同志们进来看看吧，下面是它的官网的翻译。Spa...
分类：
数据库 时间：
2014-06-02 01:27:13
阅读次数：
389
就在昨天，北京时间5月30日20点多。Spark 1.0.0终于发布了：Spark 1.0.0 released
根据官网描述，Spark 1.0.0支持SQL编写：Spark SQL Programming Guide
个人觉得这个功能对Hive的市场的影响很小，但对Shark冲击很大，就像win7和winXP的关系，自相残杀嘛?
这么着急的发布1.x 版是商业行为还是货真价实的体现，让我们拭目以待吧~~~~
本文是CSDN-撸大湿原创，如要转载请注明出处，谢谢：http://blog.csdn.net...
分类：
其他好文 时间：
2014-06-01 08:55:43
阅读次数：
460
YARN对内存资源和CPU资源采用了不同的资源隔离方案。对于内存资源，它是一种限制性资源，它的量的大小直接决定应用程序的死活，因为应用程序到达内存限制，会发生OOM，就会被杀死。CPU资源一般用Cgroups进行资源控制，Cgroups控制资源测试可以参见这篇博文Cgroups控制cpu，内存，io...
分类：
其他好文 时间：
2014-05-31 18:47:58
阅读次数：
264
1. Application Master 无法访问
点击application mater 链接，出现 http 500 错误，java.lang.Connect.exception：
问题是由于设定web ui时，50030 端口对应的ip地址为0.0.0.0，导致application master 链接无法定位。
解决办法:...
分类：
其他好文 时间：
2014-05-21 13:58:49
阅读次数：
323
