一、基本概念 在MapReduce中，一个准备提交执行的应用程序称为“作业（job）”，而从一个作业划分出的运行于各个计算节点的工作单元称为“任务（task）”。此外，Hadoop提供的分布式文件系统（HDFS）主要负责各个节点的数据存储，并实现了高吞吐率的数据读写。 在分布式存储和分布式计算方.....
分类：
其他好文 时间：
2015-07-26 15:24:26
阅读次数：
3309
本文描写叙述怎样设置一个单一节点的Hadoop安装。以便您能够高速运行简单的操作，使用HadoopMapReduce和Hadoop分布式文件系统(HDFS)。參考官方文档：Hadoop MapReduce Next Generation - Setting up a Single Node Clus...
分类：
其他好文 时间：
2015-07-25 15:08:24
阅读次数：
195
本文详细地介绍了Hadoop的基本内容和框架，包括Hadoop是什么，Hadoop能做什么以及Hadoop的两个核心模块——HDFS和MapReduce。本文比较适合初学Hadoop的同学阅读。
分类：
其他好文 时间：
2015-06-23 00:40:52
阅读次数：
293
【如果觉得我的笔记写的好，您可以小额赞助我：支付宝 15202166392】本文环境：OS:CentOS 6.6JDK:1.7.0_79Hadoop:1.0.4User:xavier一、伪分布式Hadoop配置[备注]Hadoop位于：/home/xavier/下Hadoop目录下建立：tmp,df...
分类：
其他好文 时间：
2015-06-16 22:28:25
阅读次数：
131
因为三个节点要相互访问，所以，三个节点都是客户端，也都是服务器端，我们分别在三个节点上创建一对密钥文件，密钥文件包括公钥文件(~/.ssh/id_rsa.pub)和私钥文件 (~/.ssh/id_rsa)。
客户端在使用ssh登录到其他节点上的时候，ssh会发送私钥去和其他节点上的公钥去匹配，如果匹配成功，那么就会自动登录，而不需要输入密码，这就实现了无密码登录。 所以，客户端要实现免密码登录到目标节点上的时候，就需要把公钥写入目标节点上的~/.ssh/authorized_keys中。...
分类：
其他好文 时间：
2015-06-16 16:55:19
阅读次数：
144
1.什么是分布式文件系统？管理网络中跨多台计算机存储的文件系统称为分布式文件系统。2.为什么需要分布式文件系统了？原因很简单，当数据集的大小超过一台独立物理计算机的存储能力时候，就有必要对它进行分区（partition）并存储到若干台单独计算机上。3.分布式系统比传统的文件的系统更加复杂因为分布式文...
分类：
其他好文 时间：
2015-06-15 21:57:14
阅读次数：
114
Eclipse中用maven导入hadoop源码
1) 安装并配置maven环境变量
M2_HOME: D:\profession\hadoop\apache-maven-3.3.3
PATH: %M2_HOME%\bin;
2) 验证：mvn –version
3) 下载protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip
4) 将...
分类：
系统相关 时间：
2015-06-06 14:56:18
阅读次数：
548
折腾了大半个晚上终于部署成功了，比在Linux上面稍微复杂一点，详细步骤如下：
1) jdk、ant、hadoop环境变量配置
2) 分别将hadoop-2.5.2.tar.gz、hadoop-2.5.2-src.tar.gz、hadoop2x-eclipse-plugin、hadoop-common-2.2.0-bin下载解压到D:\profession\hadoop目录下
3) ...
这几天阅读《hadoop实战》，初步了解了一下hadoop的核心思想，简要的比较如下：
1. hadoop是一个开源框架，可编写和运行分布式应用处理大数据，具有方便、简单、健壮性、可扩展性等优点
2. MapReduce程序的执行分为两个阶段，为mapping和reducing。每个阶段均定义为数据处理函数，分别被称为mapper和reducer。在mapping阶段，MapReduce获...
分类：
其他好文 时间：
2015-05-25 11:30:41
阅读次数：
190
这几天乘着工作之余，学习了一下hadoop技术，跌跌撞撞的几天，终于完成了一个初步的hadoop的安装及测试，具体如下：
动力：工作中遇到的数据量太大，服务器已经很吃力，sql语句运行老半天，故想用大数据技术来改善一下
环境：centos5.11+jdk1.7+hadoop2.5.2
1. 伪分布安装步骤
关闭防火墙
修改ip
修改hostname
设置ssh自动登录...
分类：
其他好文 时间：
2015-05-14 16:38:09
阅读次数：
136
