简介
本文档对从 Apache Hadoop 1.x 迁移他们的Apache Hadoop MapReduce 应用到
Apache Hadoop 2.x 的用户提供了一些信息。
在 Apache Hadoop 2.x 中,我们已经把资源管理功能放入 分布式应用管理框架 的Apache
Hadoop YARN,而 Apache Hadoop MapReduce (亦称 MRv2) 保持...
分类:
其他好文 时间:
2014-05-14 00:55:11
阅读次数:
294
在2014年4月7日,Apache发布了Hadoop 2.4.0 。相比于hadoop 2.3.0,这个版本有了一定的改进,突出的变化可以总结为下列几点(官方文档说明):
1 支持HDFS访问控制列表(ACL,Access Control Lists)
这个特性解决了在一定情况下,文件权限访问的权限问题。其机制是基于Linux文件访问权限的特征,如果你熟悉Linux的文件访问机...
分类:
其他好文 时间:
2014-05-13 09:03:36
阅读次数:
326
一个Hadoop集群拥有多个并行的计算机,用以存储和
Hadoop强调代码向数据迁移...
分类:
其他好文 时间:
2014-05-13 06:54:15
阅读次数:
366
UC正式推广官方技术博客,隐藏多年的浏览器技术开始陆续对外发布。...
分类:
其他好文 时间:
2014-05-13 06:49:04
阅读次数:
199
超大规模数据中心TCO(总拥有成本)优化是另一个重要驱动因素。“横向扩展”的概念基本上是在一个集群中采用一系列统一的硬件元件,将应用负载分解成具有相同处理功能的子任务,然后在基础的硬件元件上执行这些功能。通过复制统一的硬件元素,即可为持续增加的应用负载如系统吞吐量、相关数据组大小等等几乎所有与基础设施资源扩展相关的方方面面提供支持。横向扩展的架构...
分类:
其他好文 时间:
2014-05-13 06:39:55
阅读次数:
365
hbase shell命令的使用
再使用hbase 命令之前先检查一下hbase是否运行正常
hadoop@Master:/usr/hbase/bin$ jps
2640 HMaster
27170 NameNode
27533 SecondaryNameNode
3038 Jps
27795 TaskTracker
27351 DataNode
2574 HQuorumPeer
...
分类:
其他好文 时间:
2014-05-13 05:40:21
阅读次数:
460
商业智能(BI,Business Intelligence),它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。本文分析了BI系统与大数据分析结合的趋势和软件架构方案。...
分类:
其他好文 时间:
2014-05-12 23:53:15
阅读次数:
463
学习大数据的处理,有必要读一下有关大数据的书籍。这里,我列举了几本书,仅供参考。
1 ZooKeeper: Distributed Process Coordination
这本书针对的是初级或者高级的开发,面向Zookeeper编程的工程师们。如果你的工程中(如HBase)涉及到Zookeeper的应用,有必要了解一下Zookeeper的管理知识和一些基本解...
分类:
其他好文 时间:
2014-05-12 22:46:32
阅读次数:
662
安装HBase 0.94.6-cdh4.3.0
设定HBase的配置文件,由于安装的是cdh版,各版本直接匹配,互相依赖的jar包也都正确,只需要配置下hbase的环境变量和配置文件即可。
1.配置hbase-env.sh,添加JAVA_HOME环境变量
[html] view
plaincopy
export JAVA_HOME=/us...
分类:
其他好文 时间:
2014-05-12 22:36:14
阅读次数:
504
import java.io.IOException;import
org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import
org.apache.hadoop.io.IntWritable;import...
分类:
其他好文 时间:
2014-05-12 19:55:27
阅读次数:
326