什么是开发数据集？ 一个流行的开发策略是为生产环境中的大数据集建立一个较小的、抽样的数据子集，称为开发数据集。这个开发数据集可能只有几百兆字节。当你以单机或者伪分布式模式编写程序来处理它们时，你会发...
分类：
其他好文 时间：
2014-12-08 21:34:08
阅读次数：
387
输入数据概要 输入数据通常驻留在较大的文件中，通常几十或者数百GB，甚至更大。MapReduce处理的基本原则之一是将输入数据分割成块。这些块可以在多台计算机上并行处理，在Hadoop的术语中这些块被称为输入分片(In...
分类：
其他好文 时间：
2014-12-08 19:52:51
阅读次数：
230
putmerge程序的大体流程是？ 1、根据用户定义的参数设置本地目录和HDFS的目录文件 2、提取本地输入目录中每个文件的信息 3、创建一个输出流写入到HDF文件 4、遍历本地目录中的每个文件，打开一个输入流来读取该文...
分类：
其他好文 时间：
2014-12-08 18:03:01
阅读次数：
182
HDFS文件操作 你可以把一个大数据集（100TB）在HDFS中存储为单个文件，而大多数其他的文件系统无力实现这一点。虽然该文件存在多个副本分布在多台机器上来支持并行处理，你也不必考虑这些细节。 ? HDFS （Hadoo...
分类：
其他好文 时间：
2014-12-08 14:03:18
阅读次数：
226
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、
可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多
个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方
式...
分类：
其他好文 时间：
2014-11-19 14:01:46
阅读次数：
210
Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点、十大目标)课程讲师：迪伦课程分类：大数据适合人群：初级课时数量：330课时用到技术：部署Hadoop集群涉及项目：京东商城、百度、阿里巴巴双十一史上最低价，从未有的折扣，详情请咨询qq：1840215592Hadoop实战视频教程免费...
分类：
其他好文 时间：
2014-11-10 15:12:18
阅读次数：
225
Hadoop大数据零基础高端实战培训系列配文本挖掘项目课程分类：大数据适合人群：初级课时数量：230课时+90课程更新程度：完成用到技术：部署Hadoop集群涉及项目：京东商城、百度、阿里巴巴咨询qq：1840215592大数据Hadoop实战视频教程就从最基础的Java语法、数据库、Linux讲起到..
分类：
其他好文 时间：
2014-10-29 19:49:34
阅读次数：
221
Hadoop大数据零基础高端实战培训系列配文本挖掘项目课程分类：大数据适合人群：初级课时数量：230课时+90课程更新程度：完成用到技术：部署Hadoop集群涉及项目：京东商城、百度、阿里巴巴咨询qq：1840215592大数据Hadoop实战视频教程就从最基础的Java语法、数据库、Linux讲起...
分类：
其他好文 时间：
2014-10-29 12:13:08
阅读次数：
186
在去年的时候，就想把lucene，solr，nutch和hadoop这几个东东给详细的介绍下，但由于时间的关系，我还是只写了两篇文章，分别介绍了一下lucene和solr，后来就没有在写了，但我心里还是期待的，虽然到现在我没有真正搞过nutch和hadoop实战项目，但公司马上就要做hadoop大数据的监控了，我一直都说，要做一个有准备的人，因此我从去年到现在从未停止过对hadoop相关技术的学习、思考、实战。...
分类：
Web程序 时间：
2014-10-11 10:15:45
阅读次数：
240
下午对着源码看陆喜恒. Hadoop实战（第2版）6.4.1 （Shuffle和排序）Map端，发现与Hadoop 1.2.1的源码有些出入。下面作个简单的记录，方便起见，引用自书本的语句都用斜体表示。依书本，从MapTask.java开始。这个类有多个内部类：从书的描述可知，collect()并不...
分类：
其他好文 时间：
2014-10-09 15:41:24
阅读次数：
178
