hdfs可视化界面： http://beifeng-hadoop-01:50070/dfshealth.html#tab-overview yarn可视化界面： http://beifeng-hadoop-01:8088/cluster -- hdfs $ sbin/hadoop-daemon.sh ...
分类：
其他好文 时间：
2016-07-03 10:21:58
阅读次数：
222
HadoopLocal(Standalone)Mode（单机版）的安装纯粹只是为练手，练完了单机版，下面该练练Pseudo-DistributedMode（伪分布式版）的安装了。伪分布式是在一台物理机上模拟实现了hadoop的全部功能。包括ssh访问、hdfs格式化、mapReduce执行、yarn资源管理等，伪分布式安装是单机版..
分类：
其他好文 时间：
2016-07-01 23:04:55
阅读次数：
331
've got big RDD(1gb) in yarn cluster. On local machine, which use this cluster I have only 512 mb. I'd like to iterate over values in RDD on my local ...
分类：
系统相关 时间：
2016-06-30 21:43:33
阅读次数：
588
Spark简介 spark 可以很容易和yarn结合，直接调用HDFS、Hbase上面的数据，和hadoop结合。配置很容易。 spark发展迅猛，框架比hadoop更加灵活实用。减少了延时处理，提高性能效率实用灵活性。也可以与hadoop切实相互结合。 spark核心部分分为RDD。Spark S ...
分类：
其他好文 时间：
2016-06-30 21:42:01
阅读次数：
193
转：https://gist.github.com/wuchong/95630f80966d07d7453b#file-hbasenewapi-scala http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/ ...
分类：
其他好文 时间：
2016-06-30 21:26:19
阅读次数：
159
纯属云平台管理学习菜鸟的笔记，参照许多大牛的博客，如有侵权，请联系，立刻删除。
Abstract1) tight coupling of a specific programming model with the re- source management infrastructure, forcing developers to abuse the MapReduce programming...
分类：
Web程序 时间：
2016-06-29 11:15:58
阅读次数：
218
一、Hadoop HA的Web页面访问 Hadoop开启HA后，会同时存在两个Master组件提供服务，其中正在使用的组件称为Active，另一个作为备份称为Standby，例如HDFS的NameNode、YARN 的ResourceManager。HDFS的web页面只有通过Active的Name ...
分类：
其他好文 时间：
2016-06-28 00:39:46
阅读次数：
359
vim /usr/local/spark/conf/spark-env.shexport SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)export SCALA_HOME=/usr/local/scalaexport JA... ...
分类：
其他好文 时间：
2016-06-26 06:59:10
阅读次数：
486
一、实用网站 1. linux内核版本 www.kernel.org 2. 查看网站服务器使用的系统 www.netcraft.com 二、推荐书籍 1. 《Hadoop权威指南》 1-3版： Hadoop1系列 4版（目前仅有英文原版）：Hadoop2系列 yarn高可用性，HA 2. 《Hive ...
分类：
其他好文 时间：
2016-06-25 10:53:41
阅读次数：
127
新版的 Hadoop 使用了新的 MapReduce 框架（MapReduce V2，也称为 YARN，Yet Another Resource Negotiator）。YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。YARN 运行于 MapReduce 之上，提供了高可用... ...
分类：
其他好文 时间：
2016-06-25 08:26:08
阅读次数：
374
