前语：如果看官是个比较喜欢使用现成软件的，比较推荐使用quickhadoop，这个使用参照官方文档即可，是比较傻瓜式的，这里不做介绍。本文主要是针对自己部署分布式hadoop。 1.修改机器名[root@localhost root]# vi /etc/sysconfig/network将HO...
分类：
其他好文 时间：
2015-01-20 22:00:48
阅读次数：
448
由于笔者用于学习之目的，手头也没多余的机器，所以将Linux系统安装在VMware Workstation虚拟机上，VM建议使用6.0版本的，安装使用以及教程，网上资料比较齐全，安装虚拟机的过程，此处不再做讲述。VM安装Linux可以参照VMware虚拟机中安装Linux，以太网采用桥接模式。将.....
分类：
系统相关 时间：
2015-01-08 19:57:58
阅读次数：
226
map函数执行结束后，map输出的<k, v>一共有4个，分别是<hello, 1><you, 1>,<hello, 1>,<me, 1> 分区，默认只有一个分区 排序?<hello, 1>,<hello, 1>,<me, 1><you, 1> 分组?把相同key的value放到一个集合中?<he...
分类：
其他好文 时间：
2015-01-05 22:05:31
阅读次数：
138
Hadoop序列化：Long 和Int---变长编码的方法： 如果整数在[ -112， 127] ，所需字节数为1，即第一个字节数就表示该值。 如果大于127，则第一个字节数在[-120,-113]之内，正数字节数为（-112-第一个字节）---最多八个字节。 如果小于-112，则第一个字节数在[-...
分类：
其他好文 时间：
2014-12-19 17:19:27
阅读次数：
151
Doug Cutting Lucene（索引引擎）---Nutch（搜索Data抓取）---Hadoop 1997:Lucene 2003:GFS 2004:NDFS\MapReduce\Nutch 2006: (Yahoo! Facebook NewYorkTimes) Hadoop 2008: ...
分类：
其他好文 时间：
2014-12-19 15:43:43
阅读次数：
149
搭建为伪分布式Hadoop环境
1、宿主机（Windows）与客户机（安装在虚拟机中的Linux）网络连接。
a) Host-only 宿主机与客户机单独组网；
好处：网络隔离；
坏处：虚拟机和其他服务器之间不能通讯；
b) Bridge 桥接 宿主机与客户机在同一个局域网中。
好处：窦在同一个局域网，可以互相访问；
坏处：不完全。
2、Hadoop的为分布式安装步骤
a) 设置...
分类：
其他好文 时间：
2014-10-20 23:25:50
阅读次数：
230
本文描述如何设置一个单一节点的 Hadoop 安装，以便您可以快速执行简单的操作，使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS)。...
分类：
其他好文 时间：
2014-10-07 19:00:13
阅读次数：
235
开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套....
分类：
Web程序 时间：
2014-09-22 20:46:13
阅读次数：
286
【IT168评论】现如今，Apache Hadoop已经无人不知无人不晓。当年雅虎搜索工程师Doug Cutting开发出这个用以创建分布式计算机环境的开源软件库，并以自己儿子的大象玩偶为其命名的时候，谁能想到它有一天会占据“大数据”技术的头把交椅呢。 虽然Hadoop伴随大数据一同火爆起来，但相....
分类：
其他好文 时间：
2014-09-04 14:48:49
阅读次数：
160
HDFSHDFS设计基础与目标:冗余:硬件错误是常态流式数据访问。即数据比量读取而非随机读写，Hadoop擅长做的是数据分析而不是事务处理。大规模数据集简单一致性模型。为了降低系统复杂程度，对文件采用一次性写多多次读的逻辑设置，即是文件一经写入，关闭，再也不能修改。程序采..
分类：
其他好文 时间：
2014-09-04 02:58:58
阅读次数：
277
