理解Yarn的内存管理与分配机制，对于我们搭建、部署集群，开发维护应用都是尤为重要的，对于这方面我做了一些调研供大家参考。
一、相关配置情况
关于Yarn内存分配与管理，主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概念，相关的优化也要紧紧围绕着这几方面来开展。这里还有一个Container的概念，现在可以先把它理解为运行map/re...
分类：
其他好文 时间：
2015-05-04 11:57:50
阅读次数：
184
软件环境：操作系统：CentOS6.5 ，ambari：1.4.4.23，HDP：2.1.0；问题：在图中的圆圈的地方出现如题的提示。解决方法：disable IPV6。示例：针对CentOS6.5的操作系统，禁用IPV6：禁用前：方式：修改文件：/etc/sysctl.conf在文件后添加：重启sysctl： sysctl -p ； （root用户）再次查看ip：发现ipv6没有了，同时...
分类：
数据库 时间：
2015-04-27 13:16:29
阅读次数：
290
这是第一次出勤部署产品。遇到不可控问题，解决，写个心得。记录一下吧^^ 在排查问题的过程中，学到不少知识。（1）centos系统盘和数据盘分开，装操作系统的人没有将IT的空间分配出来，所以分区，自动挂载#lvmdiskscan 查看哪些设备成为了物理卷.检测硬盘和分区中的逻辑巻管理信息只有/dev....
分类：
其他好文 时间：
2015-04-24 20:57:10
阅读次数：
347
前边已经介绍了一种hadoop的安装工具，但是HDP动态添加节点会有一些问题，而且现在用的人好像不是很多，如果想用官方更多的，可以选择HDP，如果想使用更方便一些，可以选择CDH。安装HDP可以参考：使用HDP快速搭建Hadoop开发环境http://www.debugo.com/hdp-dev-s...
分类：
其他好文 时间：
2015-04-24 15:35:56
阅读次数：
311
1，E0508: User [?] not authorized for WF job […… jobid] 很明显验证问题， 修改 oozie-site.xml中节点为 oozie.service.AuthorizationService.security.enabled false Specif...
Sandbox_HDP_2.2_VirtualBox
1、下载地址
http://zh.hortonworks.com/hdp/downloads/
2、用VirtualBox打开这个HDP
点击管理—》导入虚拟电脑—》选择这个ova路径
导入过程：
导入完毕：
3、启动这个HDP
注意内存一定要多给一些，我的内存是4G，给了2G多，结...
分类：
数据库 时间：
2015-01-18 15:48:35
阅读次数：
403
Ambari能够搭建、管理Hadoop集群，这是一件很酷的事情，让集群管理变的easy，但是有可能也有自己的一些需求，如果我想基于Ambari做二次开发DIY，修改一下界面，增加一些功能，添加一个模块等等，这些都是没问题，首先Ambari是基于ASF协议，其次，开发也很方便，唯一不足的是官网基于此的开发文档不多。...
分类：
其他好文 时间：
2015-01-17 11:19:05
阅读次数：
193
1.进入数据保存目录 #cd 目录2.yum repolist 查看软件仓库3.以HDP-2.1.2.0为例，同步数据到本地：reposync -r HDP-2.1.2.04.制作索引createrepo ./5.将数据放入apache对外发布
分类：
其他好文 时间：
2014-12-26 16:35:27
阅读次数：
236
定制Hortonworks HDP开机启动服务可以这样做：找到文件：/usr/lib/hue/tools/start_scripts/start_deps.mf，首先做一个备份：cp /usr/lib/hue/tools/start_scripts/start_deps.mf /usr/lib/hue/tools/start_scripts/start_deps.mf.bak然后：vim /usr...
分类：
数据库 时间：
2014-12-23 22:44:28
阅读次数：
360
在最新发布的Hortonworks HDP Sandbox 2.2版本上，HBase启动时会报错，原因是新版本的HBase的存放路径与过去有所不同，而启动脚本依然沿用了旧有的命令行启动HBase，导致无法找到hbase-daemond.sh文件，进而启动失败。看得到，2.2版本的Sandbox发布有些仓促，这样明显而简单的错误是不应该出现的。下面来说一下如何修复这个问题：最负责启动HBase的命令...
分类：
数据库 时间：
2014-12-23 22:41:55
阅读次数：
562
