本文来源：通通学--知识学习与分享平台转载链接：http://www.tongtongxue.com/archives/220.htmlHadoop的核心HDFS:HadoopDistributedFileSystem分布式文件系统MapReduce：并行计算框架Yarn：集群资源管理和调度框架Hadoop是什么？适合大数据的分布式存储、计算、资源管理平台作..
分类：
其他好文 时间：
2015-11-29 19:43:15
阅读次数：
189
The minimum allocation for every container request at the RM, in MBs. Memory requests lower than this won't take effect, and the specified value will....
分类：
其他好文 时间：
2015-11-28 10:31:27
阅读次数：
206
大数据第一天1.Hadoop生态系统 1.1 Hadoop v1.0 架构 MapReduce(用于数据计算) HDFS(用于存储数据) 1.2 Hadoop v2.0 架构 MapReduce(用于数据计算，Hadoop提供计算框架) 其他非Hadoop计算框架 YARN(用户管理...
分类：
其他好文 时间：
2015-11-24 14:52:07
阅读次数：
143
本文转载：通通学--知识学习与分享平台Hadoop的核心HDFS:HadoopDistributed File System 分布式文件系统MapReduce：并行计算框架Yarn：集群资源管理和调度框架Hadoop是什么？适合大数据的分布式存储、计算、资源管理平台作者：Doug Cutting受G...
分类：
其他好文 时间：
2015-11-22 23:13:06
阅读次数：
197
安装JDK1.7以上Hadoop2.7.0不支持JDK1.6，Spark1.5.0开始不支持JDK1.6安装Scala2.10.4安装Hadoop2.x至少HDFSspark-env.shexportJAVA_HOME=
exportSCALA_HOME=
exportHADOOP_CONF_DIR=/opt/modules/hadoop-2.2.0/etc/hadoop//运行在yarn上必须要指定
exportSPARK_MASTER_IP=s..
分类：
其他好文 时间：
2015-11-12 06:42:36
阅读次数：
238
关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml? 关于ResourceManager高可靠需要配置的文件有yarn-site.xml? 逻辑结构：? ? NameNode-HA工作原理：? 在一个典型的HA集群中，最好有2台独立...
分类：
其他好文 时间：
2015-11-11 20:53:09
阅读次数：
409
关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml关于ResourceManager高可靠需要配置的文件有yarn-site.xml逻辑结构：NameNode-HA工作原理：在一个典型的HA集群中，最好有2台独立的机器的来配置NameNode角色，无论在...
分类：
其他好文 时间：
2015-11-11 20:40:35
阅读次数：
298
本文不会搞什么Yarn混搭Spark，只想建立一个纯粹的Spark环境，太多层东西搅和在一起，不靠谱。创建spark服务运行帐号# useradd smilesmile帐号就是spark服务的运行帐号。下载安装包在root帐号下，下载最新安装包，注意不是source，而是bin安装包，支持hadoop2.6以后的wget http://mirrors.cnnic.cn/apache/spark/s...
分类：
其他好文 时间：
2015-11-11 16:48:52
阅读次数：
787
版本：CDH5.0.0，HDFS：2.3.0，Mapreduce:2.3.0,Yarn:2.3.0。场景描述：求一组数据中按照不同类别的最大值，比如，如下的数据：data1:[plain]view plaincopyA,10A,11A,12A,13B,21B,31B,41B,51data2:[pla...
分类：
其他好文 时间：
2015-11-01 21:05:05
阅读次数：
226
在hadoop1中核心组成部分是HDFS、MapReduce，到了Hadoop2，核心变为HDFS、Yarn，而且新的HDFS中可以有多个NameNode，每个都有相同的职能。以下内容是从http://www.superwu.cn/2014/02/12/1094/阅读后自己总结了一下：配置文件无非就...
分类：
其他好文 时间：
2015-10-31 12:58:44
阅读次数：
211
