版本: 使用hadoop1.1.2 JDK为java71.下载hadoop2.配置hadoop文件3测试1.下载hadoop: 1.1 在https://archive.apache.org/dist/hadoop/common/ 中下载hadoop1.1.2 , 这里注意要下载 hadoop的bi...
分类：
其他好文 时间：
2015-05-06 12:40:28
阅读次数：
157
最近一段时间看了许多Hadoop性能优化相关的资料，于是花了点时间整理了一下，希望给正在苦于Hadoop集群性能问题的博友们一点建议吧。
1、Hadoop在存储有输入数据的节点上运行map任务，可以获得最佳性能，称为“数据本地化优化“，所以一般会设置最大分片的大小应该与块大小相同，如果分片跨越2个块的大小，必然要经过网络传输到不同的节点上读取数据。
2、适当的时候使用Combine函数。Com...
分类：
其他好文 时间：
2015-05-05 09:00:46
阅读次数：
195
原文：http://disi.unitn.it/~lissandrini/notes/installing-hadoop-on-ubuntu-14.html This guide is shows step by step how to set up a multi nod cluster with Hadoop and HDFS 2.4.1 on Ubuntu 14.04. It i...
分类：
其他好文 时间：
2015-04-25 18:32:59
阅读次数：
175
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访...
分类：
其他好文 时间：
2015-04-20 00:17:10
阅读次数：
218
概念 HDFS是Hadoop Distribute File System 的简称，也就是Hadoop分布式文件系统。 设计理念 1、硬件错误是常态 错误检测并快速自动恢复是HDFS的最核心设计目标 2、存储超大文件 HDFS适合大量存储，总存储量可以达...
分类：
其他好文 时间：
2015-04-19 01:14:37
阅读次数：
165
引言Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数...
分类：
其他好文 时间：
2015-04-13 22:25:32
阅读次数：
171
IT-培训基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析Hadoop2.0_YARN_Spark_Storm_Tez技术培训视频教程基于IBM Cognos Report studio技术的商业智能解决方案(广播分发报表、EVENT STUDIO)基于IBM Cog...
分类：
其他好文 时间：
2015-04-13 22:24:18
阅读次数：
392
简介 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。 HDFS有很多特点： ? ??①?保存多个副...
分类：
其他好文 时间：
2015-04-13 19:09:44
阅读次数：
170
【适用场景不同】 Hadoop:分布式批处理计算，强调批处理，常用于数据挖掘、分析 Spark:是一个基于内存计算的开源的集群计算系统，那些在并行操作之间重用工作数据集（比如机器学习算法）的工作负载。为了优化这些类型的工作负载，Spark 引进了内存集群计算的概念，可在内存集群计算中将数据集缓存在内...
分类：
其他好文 时间：
2015-04-12 22:21:15
阅读次数：
541
