import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.fs.BlockLocation;import org.apache.hadoop.fs.File...
分类：
其他好文 时间：
2014-07-22 22:54:33
阅读次数：
223
Hadoop的数据管理，主要包括Hadoop的分布式文件系统HDFS、分布式数据库HBase和数据仓库工具Hive的数据管理。
分类：
其他好文 时间：
2014-07-22 22:54:13
阅读次数：
243
这篇文章不提原理，讲讲hadoop及其周边项目的作用。hadoop这个词已经流行好多年了，一提到大数据就会想到hadoop，那么hadoop的作用是什么呢？官方定义：hadoop是一个开发和执行处理大规模数据的软件平台。核心词语是平台，也就是说我们有大量的数据，又有好几个电脑，我们知道应该把处理数据...
分类：
其他好文 时间：
2014-07-19 21:30:03
阅读次数：
179
大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。 我们可以带着下面问题来阅读本文章： 1...
分类：
其他好文 时间：
2014-07-19 21:05:50
阅读次数：
236
经过一段时间的配置，Hadoop环境总算运行起来了，但是呢，为何主节点就没有跑tasktracker和datanode进程，slave节点也没有跑secondary进程，Hadoop是如何控制的呢？经过看权威指南（267页）和跟群里同学讨论，还有自己测试，最终确定：tasktracker和datan...
分类：
其他好文 时间：
2014-07-19 20:19:01
阅读次数：
239
本文为本人原创，首发到炼数成金http://f.dataguru.cn/thread-138720-1-1.html。情况是这样的，我没有一个非常强劲的电脑来搞出一个性能非常NB的服务器集群，相信很多人也跟我差不多，所以现在把我的低配置集群经验拿出来写一下好了。我的配备：1）五六年前的赛扬单核处理器...
分类：
其他好文 时间：
2014-07-19 20:07:37
阅读次数：
294
1.启动hadoop守护进程 bin/hadoop start-all.sh2.在hadoop的bin目录下建立一个input文件夹 mkdire input3.进入input目录之后，在input目录下新建两个文本文件，并想其写入内容echo "hello excuse me fuck thank...
分类：
其他好文 时间：
2014-07-18 23:39:00
阅读次数：
350
测试hadoop版本：2.4 Map端聚合的应用场景：当我们只关心所有数据中的部分数据时，并且数据可以放入内存中。使用的好处：可以大大减小网络数据的传输量，提高效率；一般编程思路：在Mapper的map函数中读入所有数据，然后添加到一个List（队列）中，然后在cleanup函数中对list进行处理，输出我们关系的少量数据。实例：在map函数中使用空格分隔每行数据，然后把每个单词添加到一个堆栈中，...
分类：
其他好文 时间：
2014-07-18 23:00:49
阅读次数：
283
Hadoop代码测试版本：2.4应用场景：在Hadoop编程的时候，有时我们在进行我们算法逻辑的时候想附带了解下数据的一些特性，比如全部数据的记录数有多少，map的输出有多少等等信息（这些是在算法运行完毕后，直接有的），就可以使用计数器Counter。如果是针对很特定的数据的一些统计，比如统计以1开头的所有记录数等等信息，这时就需要自定义Counter。自定义Counter有两种方式，第一种，定义...
分类：
其他好文 时间：
2014-07-18 22:29:12
阅读次数：
277
安装环境：
OS:
Centos 6.5
JDK: jdk1.6.0_18
Hadoop: hadoop-0.20.2
Hbase: hbase-0.90.5
安装准备：
1.
Jdk环境已安装：版本为1.6以上
2.
hadoop环境已安装：完全分布模式安装如下
http://blog.csdn.net/lichangzai/arti...
分类：
其他好文 时间：
2014-07-18 22:08:46
阅读次数：
441
