准备Linux环境【JAVA,IP,hostname,hosts,iptables,chkconfig,ssh】 不会配置的找1.0下面的伪分布环境搭建下载稳定版2.2.0修改etc/hadoop目录下的配置文件core-site.xml,hdfs-site.xml,yarn-site.xml,ma...
分类：
其他好文 时间：
2015-12-16 00:10:24
阅读次数：
193
转自：http://blog.csdn.net/androidlushangderen/article/details/48128955YARN学习系列：http://blog.csdn.net/Androidlushangderen/article/category/5780183前言在之前两周主...
分类：
移动开发 时间：
2015-12-14 06:42:24
阅读次数：
299
一直在搞spark，也没时间弄hadoop，不过Hadoop基本的编程我觉得我还是要会吧，看到一篇不错的文章,不过应该应用于hadoop2.0以前，因为代码中有 conf.set("mapred.job.tracker","192.168.1.2:9001");新框架中已改为 Yarn-site.x...
分类：
其他好文 时间：
2015-12-09 00:24:20
阅读次数：
256
小知识点：half：关机yarn端口：8088删除hdfs目录：hadoop fs -rm -r /wc/outputnamenode两个状态都是standby原因：zookeeper没有比hdfs先启动现在来做一个流量统计的例子：首先数据是这样一张表：见附件统计：（代码）1，flowbean：pa...
分类：
编程语言 时间：
2015-12-04 12:29:51
阅读次数：
198
本文来源：通通学--知识学习与分享平台转载链接：http://www.tongtongxue.com/archives/220.htmlHadoop的核心HDFS:HadoopDistributedFileSystem分布式文件系统MapReduce：并行计算框架Yarn：集群资源管理和调度框架Hadoop是什么？适合大数据的分布式存储、计算、资源管理平台作..
分类：
其他好文 时间：
2015-11-29 19:43:15
阅读次数：
189
The minimum allocation for every container request at the RM, in MBs. Memory requests lower than this won't take effect, and the specified value will....
分类：
其他好文 时间：
2015-11-28 10:31:27
阅读次数：
206
大数据第一天1.Hadoop生态系统 1.1 Hadoop v1.0 架构 MapReduce(用于数据计算) HDFS(用于存储数据) 1.2 Hadoop v2.0 架构 MapReduce(用于数据计算，Hadoop提供计算框架) 其他非Hadoop计算框架 YARN(用户管理...
分类：
其他好文 时间：
2015-11-24 14:52:07
阅读次数：
143
本文转载：通通学--知识学习与分享平台Hadoop的核心HDFS:HadoopDistributed File System 分布式文件系统MapReduce：并行计算框架Yarn：集群资源管理和调度框架Hadoop是什么？适合大数据的分布式存储、计算、资源管理平台作者：Doug Cutting受G...
分类：
其他好文 时间：
2015-11-22 23:13:06
阅读次数：
197
安装JDK1.7以上Hadoop2.7.0不支持JDK1.6，Spark1.5.0开始不支持JDK1.6安装Scala2.10.4安装Hadoop2.x至少HDFSspark-env.shexportJAVA_HOME=
exportSCALA_HOME=
exportHADOOP_CONF_DIR=/opt/modules/hadoop-2.2.0/etc/hadoop//运行在yarn上必须要指定
exportSPARK_MASTER_IP=s..
分类：
其他好文 时间：
2015-11-12 06:42:36
阅读次数：
238
关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml? 关于ResourceManager高可靠需要配置的文件有yarn-site.xml? 逻辑结构：? ? NameNode-HA工作原理：? 在一个典型的HA集群中，最好有2台独立...
分类：
其他好文 时间：
2015-11-11 20:53:09
阅读次数：
409
