1.Heartbeat lost for the host ambari-agent [root@oc-data-141 ~]# ambari-agent status —查看客户端状态 [root@oc-data-141 ~]# tailf /var/log/ambari-agent/ambari ...
分类:
其他好文 时间:
2018-06-06 18:13:18
阅读次数:
2659
这几天集群任务不停的增长,并且不是业务提交的任务,最后全部执行失败 Total number of applications (application-types: [] and states: [SUBMITTED, ACCEPTED, RUNNING]):6463 Application-Id ...
分类:
其他好文 时间:
2018-06-04 14:17:42
阅读次数:
474
不多说,直接上干货! 很多同行,也许都知道,对于我们大数据搭建而言,目前主流,分为Apache 和 Cloudera 和 Ambari。 后两者我不多说,是公司必备和大多数高校科研环境所必须的! 分别,详情见我如下的博客 Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐) A ...
分类:
系统相关 时间:
2018-05-31 13:21:23
阅读次数:
255
大数据领域两大最主流集群管理工具Ambari和Cloudera Manger Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐) Ambari安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐) 前期博客 CDH版本大数据集群下搭建Hue(hadoop-2.6.0-cd ...
分类:
其他好文 时间:
2018-05-31 13:18:44
阅读次数:
878
课程目录:01.HDP介绍02.环境准备--ntp--java--selinux--hosts--hostname--ip03.环境准备--克隆机器--配置IP和HostName03.环境准备--克隆机器--配置IP和HostName04.环境准备--安装MySQL--配置免密04.环境准备--安装 ...
分类:
其他好文 时间:
2018-05-22 22:26:10
阅读次数:
386
参考博客: https://www.unixhot.com/article/46 使用ambari 快速部署hadoop 集群 Ambari是 Apache Software Foundation 中的一个顶级项目。Ambari可以创建、管理、监控 Hadoop 的集群。包括整个Hadoop生态圈( ...
分类:
其他好文 时间:
2018-05-18 17:12:58
阅读次数:
277
一、Hadoop框架 1.HDFS(分布式文件系统) 2.MapReduce(分布式计算框架) 3.YARN(集群资源管理器) 4.Zookeeper(分布式协作服务) 5.Ambari(管理工具) 二、Spark(内存计算框架) 1.Scala 2.Spark SQL 3.Spark Stream ...
分类:
其他好文 时间:
2018-05-18 11:28:00
阅读次数:
137
hadoop集群 动态添加或删除节点 在运行中的ambari hadoop集中中动态添加或删除节点 1. 下线hdfs节点 1) 下线datanode namenode节点上dfs.exclude文件,看配置文件怎么配置的,里每行添加一个服务器名,如我要下线server7,server8,serve ...
分类:
其他好文 时间:
2018-05-13 19:10:07
阅读次数:
204
项目实战案例:搜狗日志查询分析数据:一、电商大数据平台整体架构1、大数据(Hadoop、Spark、Hive)都是一种数据仓库的实现方式核心问题:数据存储、数据计算什么是数据仓库?传统的解决大数据的方式,就是一个数据库一般只做查询2、大数据平台整体的架构部署:Apache、Ambari(HDP)、CDH二、在项目中使用使用瀑布模型(软件工程:方法论)1、瀑布模型几个阶段?2、每个阶段完成的任务三、
分类:
其他好文 时间:
2018-05-06 16:22:50
阅读次数:
160
Hadoop家族学习路线图 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Ooz ...
分类:
其他好文 时间:
2018-04-16 20:37:04
阅读次数:
193