官网上的教程版本不符,还过于简单(很多必要的步骤没提到),
所以自行网上找教程.
在这里整理一下:
假设java_home已经配置完成,ssh也可连通
1.修改配置文件
以下文件均在 %HADOOP_HOME%/conf/ 下
core-site.xml: Hadoop Core的配置项，例如HDFS和MapReduce常用的I/O设置等。
hdfs-sit...
分类：
其他好文 时间：
2015-08-31 23:44:50
阅读次数：
269
基于GreenplumHadoop分布式平台的大数据解决方案及商业应用案例剖析【上集】百度网盘下载：链接：http://pan.baidu.com/s/1eQJFXZ0密码：kdx9【下集】百度网盘下载：链接：http://pan.baidu.com/s/1hq4cO2w密码：cnsq课程内容简介：本课程分两大部分：第一部分全面深入地介绍了..
分类：
其他好文 时间：
2015-08-31 15:32:47
阅读次数：
358
上篇讲述了Hadoop分布式集群环境的搭建，其实重要是HDFS分布式文件系统的搭建，MapReduce主要是需要我们程序员来进行编写算法来进行逻辑运算的。这篇就重点来讲述一下HDFS（HadoopDistribute File System，也就是Hadoop分布式文件系统）。 一、HDFS的主要设计理念： 1、存储超大文件，这里的“超大文件”是指几百MB、GB甚至TB，PB级别的...
分类：
其他好文 时间：
2015-08-28 00:50:42
阅读次数：
163
前言在Hadoop集群中，按照集群规模来划分，规模可大可小，大的例如百度，据说有4000台规模大小的Hadoop集群，小的话，几十台机器组成的集群也都是存在的。但是不论说是大型的集群以及小规模的集群，都免不了出现节点故障的情况，尤其是超大型的集群，节点故障几乎天天发生，因此如何做到正确，稳妥的故障情况处理，就显得很重要了，这里提供一个在Hadoop集群中可以想到的办法，就是Decommission...
分类：
其他好文 时间：
2015-08-20 09:12:18
阅读次数：
176
一、MapReduce概述
MapReduce 是 Hadoop 的核心组成, 是专用于进行数据计算的，是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.MapReduce由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。这两个函数的形参是key、value对，表示函数的输入输出信息。
ma...
分类：
其他好文 时间：
2015-08-18 11:57:00
阅读次数：
166
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，...
分类：
数据库 时间：
2015-08-13 00:49:32
阅读次数：
359
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。
HDFS的体系架构
整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支持。
HDFS采用主从（Maste...
分类：
其他好文 时间：
2015-08-12 19:36:08
阅读次数：
110
前言在linux文件系统中，i-node节点一直是一个非常重要的设计，同样在HDFS中，也存在这样的一个类似的角色，不过他是一个全新的类，INode.class，后面的目录类等等都是他的子类。最近学习了部分HDFS的源码结构，就好好理一理这方面的知识，帮助大家更好的从深层次了解Hadoop分布式系统文件。HDFS文件相关的类设计在HDFS中与文件相关的类主要有这么几个1.INode--这个就是最底...
分类：
其他好文 时间：
2015-08-12 01:27:47
阅读次数：
189
Hadoop是Lucene创始人DougCutting，根据Google的相关内容山寨出来的分布式文件系统和对海量数据进行分析计算的基础框架系统，其中包含MapReduce程序，hdfs系统等。网方网站：http://hadoop.apache.org/Hadoop是一个由Apache基金会所开发的分布式系统基础架构。下载：http://had..
分类：
其他好文 时间：
2015-08-10 02:12:39
阅读次数：
223
Hadoop中HDFS的存储机制HDFS（Hadoop Distributed File System）是Hadoop分布式计算中的数据存储系统，是基于流数据模式访问和处理超大文件的需求而开发的。下面我们首先介绍HDFS中的一些基础概念，然后介绍HDFS中读写操作的过程，最后分析了HDFS的优缺点。...
分类：
其他好文 时间：
2015-08-09 18:26:44
阅读次数：
182
