一、运行MapReduce程序出现的问题mapreduce.task.io.sort.mb无效
java.io.IOException: Invalid "mapreduce.task.io.sort.mb": 4096解决办法：
这个参数的值设置的过大了，不能超过2047，注意单位是mb二、当集群的某个从节点宕机了，怎么办？解决办法：先在挂掉的节点上重启ambari代理，使用ambari-a...
分类：
其他好文 时间：
2015-05-22 21:15:54
阅读次数：
123
http://docs.hortonworks.com/HDPDocuments/Ambari-2.0.0.0/Ambari_Doc_Suite/ADS_v200.html#ref-2b6244d6-8736-40fa-bcf9-e8629c3d9c9ehttp://docs.hortonworks...
分类：
其他好文 时间：
2015-05-18 01:04:21
阅读次数：
199
原文地址：http://blog.chinaunix.net/xmlrpc.php?r=blog/article&uid=26230811&id=4023821环境配置HostnameIPOSAmbari172.16.235.164Centos X64 base installMaste.hadoo...
分类：
其他好文 时间：
2015-05-14 11:24:47
阅读次数：
355
用ambari安装了HDP版本的hadoop，dashboard中ganglia的CPU、内存、网络等监控没有数据，找了很多原因，最后发现是因为rrdcache的时间问题导致的。gmetad的debug信息显示：RRD_update (/var/lib/ganglia/rrds/__SummaryI...
分类：
其他好文 时间：
2015-05-06 14:54:00
阅读次数：
569
软件环境：操作系统：CentOS6.5 ，ambari：1.4.4.23，HDP：2.1.0；问题：在图中的圆圈的地方出现如题的提示。解决方法：disable IPV6。示例：针对CentOS6.5的操作系统，禁用IPV6：禁用前：方式：修改文件：/etc/sysctl.conf在文件后添加：重启sysctl： sysctl -p ； （root用户）再次查看ip：发现ipv6没有了，同时...
分类：
数据库 时间：
2015-04-27 13:16:29
阅读次数：
290
这是第一次出勤部署产品。遇到不可控问题，解决，写个心得。记录一下吧^^ 在排查问题的过程中，学到不少知识。（1）centos系统盘和数据盘分开，装操作系统的人没有将IT的空间分配出来，所以分区，自动挂载#lvmdiskscan 查看哪些设备成为了物理卷.检测硬盘和分区中的逻辑巻管理信息只有/dev....
分类：
其他好文 时间：
2015-04-24 20:57:10
阅读次数：
347
Apache Ambari是对Hadoop进行监控、管理和生命周期管理的基于网页的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。Ambari支持管理的服务有：Apache HBaseApache HCatalogApache Hadoop HDFSApache HiveAp...
分类：
其他好文 时间：
2015-04-24 15:58:02
阅读次数：
154
Hadoop简介:
分布式、可扩展、可靠的、分布式计算框架。
组件：
common：公共组件
hdfs：分布式文件系统
yarn：运行环境
mapreduce：mr计算模型
生态系统：
Ambari:操作界面
avro：通用的序列化机制、与语言无关
cassandra:数据库
chukwa：数据收集系统
hbase:分布式大表数据库
hive：基于sql的分析系统
matout：机器学习算法库
pi...
分类：
其他好文 时间：
2015-04-05 11:59:31
阅读次数：
234
Agent是Ambari一个核心模块，主要负责在集群节点上执行命令（install/start/stop）和上报状态(liveness/progress/alert)。要理解实现细节甚至修改源代码，首先要有总体宏观的认识。笔者粗略浏览了一下Agent代码，认为可以从三大基本抽象入手，来描绘总体的概览。抽象Agent定义了三个基本抽象，也是三个抽象类：Resource表示Agent可操作的对象，每个R...
分类：
其他好文 时间：
2015-04-01 23:50:43
阅读次数：
218
Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra,...
分类：
其他好文 时间：
2015-03-13 12:28:34
阅读次数：
218
