HDFS中的Federation机制是为了扩展名字空间服务而产生的，确切的来说Federation是为了扩容来实现的，理论上HDFS没有上限，但是有物理机的限制以及JVM的限制。名字节点是联邦机制的，意味着各个namespace之间是相互独立的，不需要彼此协调操作。hdfs-site.xml: .....
分类：
其他好文 时间：
2014-11-17 12:06:39
阅读次数：
251
STORM与HADOOP的比较对于一堆时刻在增长的数据，如果要统计，可以采取什么方法呢？等数据增长到一定程度的时候，跑一个统计程序进行统计。适用于实时性要求不高的场景。如将数据导到HDFS，再运行一个MAP REDUCE JOB。如果实时性要求高的，上面的方法就不行了。因此就带来第二种方法。在数据每...
分类：
其他好文 时间：
2014-11-16 21:24:49
阅读次数：
223
HADOOP_HOME=/opt/hadoop/hadoop-2.5.0/ HADOOP_PREFIX=/opt/hadoop/hadoop-2.5.0/ HADOOP_COMMON_LIB_NATIVE_DIR=/opt/hadoop/hadoop-2.5.0/lib/native HADOOP_HDFS_HOME=/opt/hadoop/hadoop-2.5.0/ HADOOP_COMM...
分类：
其他好文 时间：
2014-11-16 20:13:32
阅读次数：
233
hadoop启动时报如下错误：错误分别在namenode和jobTracker日志文件都有org.apache.hadoop.hdfs.server.namenode.SafeModeException:Cannotdelete/usr/hadoop/tmp/mapred/system.Namenodeisinsafemode.Theratioofreportedblocks1.0000hasreachedthethreshold0.9990.Safemodewill..
分类：
其他好文 时间：
2014-11-16 18:54:48
阅读次数：
242
一、概要
1.1 Storm(简介)
Storm是一个实时的可靠地分布式流计算框架。
具体就不多说了，举个例子，它的一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor data）、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。
1.2 Tride...
分类：
Windows程序 时间：
2014-11-14 15:42:08
阅读次数：
2971
也可以查看一下SparkWorker2上的运行情况： 我们点击具体的Container查看其信息： 程序运行结束后我们可以执行一下命令查看运行结果： 也可通过HDFS控制台查看运行结果： 可以通过Web控制的JobHistory查看历史工作...
分类：
其他好文 时间：
2014-11-14 14:24:39
阅读次数：
148
一、概要
1.1 Storm(简介)
Storm是一个实时的可靠地分布式流计算框架。
具体就不多说了，举个例子，它的一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor data）、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。...
分类：
其他好文 时间：
2014-11-14 14:15:48
阅读次数：
291
HBase 安装分为：单击模式，伪分布式，完全分布式，在单机模式中，HBase使用本地文件系统而不是HDFS ，所有的服务和zooKeeper都运作在一个JVM中。本文是安装的伪分布式。安装步骤如下 1 环境配置 2 安装说明1 环境配置 1.1 Java JDK 安装，下载JDK，配置环境变...
分类：
系统相关 时间：
2014-11-14 13:49:25
阅读次数：
300
