import java.io.File;import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop....
分类：
其他好文 时间：
2014-06-18 20:12:01
阅读次数：
254
hadoop 1.0 mapreduce过程主要问题：JobTracker 是 Map-reduce 的集中处理点，存在单点故障。JobTracker 完成了太多的任务，造成了过多的资源消耗，当 map-reduce job 非常多的时候，会造成很大的内存开销，潜在来说，也增加了 JobTracke...
分类：
其他好文 时间：
2014-06-18 20:00:19
阅读次数：
377
期间遇到了无法转value的值为int型，我採用try catch解决str2 2str1 1str3 3str1 4str4 7str2 5str3 9用的\t隔开，得到结果str1 1,4str2 2,5str3 3,9str4 7我这里map，reduce都是单独出来的类，用了自己定义的key...
分类：
其他好文 时间：
2014-06-18 18:35:21
阅读次数：
184
第一步：事件总线和事件聚合器 【1】事件总线IEventBus IUnitOfWork.csusing System;using System.Collections.Generic;using System.Linq;using System.Text;using System.Threading...
分类：
其他好文 时间：
2014-06-18 16:58:56
阅读次数：
1005
/* *迭代器（Iterator）模式：提供货一种方法顺序反问一个聚合对象中的各个元素。 */ ConcreteAggregate a = new ConcreteAggregate(); a[0] = "A"; a[1] = "B"...
分类：
其他好文 时间：
2014-06-18 15:54:56
阅读次数：
159
五、搭建Hadoop集群上面的步骤，确认了单机可以执行Hadoop的伪分布执行，真正的分布式执行无非也就是多几台slave机器而已，配置方面的有一点点区别，配置起来就非常简单了。1、准备三台服务器192.168.56.101192.168.56.102192.168.56.103在每台机器的/etc/hosts中都将ip及hostname给映射上：192.168.56.101 nginx1192...
分类：
其他好文 时间：
2014-06-16 23:18:41
阅读次数：
499
前言Hadoop从存储上来说，是类似于冗余磁盘阵列(RAID)的存储方式，将数据分散存储并提供以提供吞吐量，它的存储系统就是HDFS（Hadoop Distuibute Fils System）；从计算上来说，它通过MapReduce模型，将大数据的计算分发到多台计算机上完成，再将结果合并，减少计算的时间。Hadoop适合于：1、超大数据的计算；2、一次写入、多次读取的模式；3、可以跑在普通的硬件...
分类：
其他好文 时间：
2014-06-16 22:58:13
阅读次数：
250
K-均值聚类算法的MapReduce实现理解...
分类：
其他好文 时间：
2014-06-16 22:04:50
阅读次数：
207
三、配置Hadoop1、设置$HADOOP_HOME/conf/hadoop-env.sh这个文件中设置的是Hadoop运行时需要的环境变量，在1.2.1版中共有19个环境变量，如下： 变量名称默认值说明JAVA_HOME 设置JDK的路径，这个必须设置，否则Hadoop无法启动，值如：/usr/local/jdk1.6.0_33HADOOP_CLASSPATH空这个用以设置用户的类路径，也可以在...
分类：
其他好文 时间：
2014-06-16 19:59:35
阅读次数：
380
1. Impala架构
Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS...
分类：
其他好文 时间：
2014-06-16 14:42:11
阅读次数：
251
