Hadoop-2.0 目录简介
一、目录结构
将下载的压缩包解压：
解压后文件夹如下：
二、各文件夹目录结构
1、bin：Hadoop2.0的最基本管理脚本和使用脚本所在目录。这些脚本是sbin目录下管理脚本的基础实现，我们可以直接用这些脚本管理和使用Hadoop。
2、etc：这个目录里的文件只要接触过Hadoop的人都很熟悉。Hadoop配置文件目录。首先是从Ha...
分类：
其他好文 时间：
2015-01-07 18:57:20
阅读次数：
126
hadoop是一个分布式的基础架构，利用分布式实现高效的计算与储存，最核心的设计在于HDFS与MapReduce，HDFS提供了大量数据的存储，mapReduce提供了大量数据计算的实现，通过Java项目实现hadoop job处理海量数据解决复杂的需求。一、基本环境及相关软件的配置 具体配置说明：...
分类：
其他好文 时间：
2014-12-25 17:59:55
阅读次数：
104
一：课程简介：Hadoop是当下云计算大数据的王者。Hadoop不仅是一个大数据的计算框架，同时也是大数据的存储平台。使用Hadoop，用户可以在不了解分布式底层细节的情况下开发出分布式程序，从而可以使用众多廉价的计算设备的集群的威力来高速的运算和存储，而且Hadoop的运算和存储是可靠的、高效的、...
分类：
其他好文 时间：
2014-12-20 02:03:15
阅读次数：
235
本文提供几个简单的实例，来说明如何使用hadoop的java API针对HDFS进行文件上传、创建、重命名、删除操作本文地址：http://www.cnblogs.com/archimedes/p/hdfs-api-operations.html，转载请注明源地址。1.上传本地文件到HDFS通过Fi...
http://www.chinahadoop.cn/page/developer什么是大数据开发师？围绕大数据系平台系统级的研发人员， 熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提...
分类：
其他好文 时间：
2014-12-14 19:54:40
阅读次数：
280
MapReduce模型可分为单Reduce模式、多Reduce模式以及无Reduce模式，对于不同复杂度的指数产品生产算法，应根据需求选择不同的MapReduce计算模式。...
分类：
编程语言 时间：
2014-12-12 22:18:32
阅读次数：
279
前言 在计算机领域，排序的重要性不用多说。而排序的算法，效率分析等也一直是研究的热点。 本文将给出使用Hadoop分布式方案进行排序的例子，这能极大提高排序的速度，是需要重点掌握的一个案例。需求 对输入文件中的数据进行排序。 输入文件中的每行内容都是一个数字，要求在输出文件中每行有两个数字，...
分类：
编程语言 时间：
2014-12-12 13:17:56
阅读次数：
266
用了一段时间的hadoop，现在回来看看源码发现别有一番味道，温故而知新，还真是这样的 在使用hadoop之前我们需要配置一些文件，hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml。那么这些文件在什么时候被hadoop使用？ ...
分类：
其他好文 时间：
2014-12-05 22:32:08
阅读次数：
241
1.关于run on hadoop的问题：
在未用hadoop eclipse插件前，我以为通过hadoop eclipse 插件不但可以管理hdfs，还可以自动打包程序，并帮我自动设置Configuration对象的mapred.jar属性值。但用了之后，才发现，这个插件只能管理hdfs，至于打包程序等操作，还得自己手动进行。我用的hadoop 版本为1.2.1，hadoop eclipse插...
分类：
其他好文 时间：
2014-11-20 12:04:27
阅读次数：
204
hadoop是一个分布式的基础架构，利用分布式实现高效的计算与储存，最核心的设计在于HDFS与MapReduce，HDFS提供了大量数据的存储，mapReduce提供了大量数据计算的实现，通过Java项目实现hadoop job处理海量数据解决复杂的需求。
一、基本环境及相关软件的配置
详细配置说明：基本环境配置及权限申请
二、hadoop项目开发流程
hadoop主要的...
分类：
其他好文 时间：
2014-11-19 18:49:25
阅读次数：
175
