hadoop生产环境的使用是很复杂的，有些公司是CDH或者Ambari等管理工具运维的，有些是原生的集群俗称裸奔，前者优缺点是运维，查看监控等容易，对于底层理解不友好；裸奔集群反之，裸奔集群的很多东西都需要定制和自己开发，比如监控用zabbix，告警用企业微信，节点的异构严重的，需要二次开发配置文件 ...
分类：
其他好文 时间：
2020-07-13 13:17:45
阅读次数：
65
卸载ambari脚本 #!/bin/bash PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin export PATH #取得集群的所有主机名，这里需要注意：/etc/hosts配置的IP和主机名只能用一个 ...
分类：
其他好文 时间：
2020-06-12 11:08:46
阅读次数：
52
利用虚拟机安装docker，在docker环境中搭建HDP大数据平台 前言 : 在一台虚拟机上搭建3个docker容器 作为安装HDP的环境，虚拟机环境centos7.6 docker环境为centos7.6 https://hub.docker.com/_/centos 在此网站查询想要的版本号 ...
分类：
其他好文 时间：
2020-04-29 01:26:09
阅读次数：
537
错误信息： ERROR 2019-09-05 10:29:05,700 NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579)ERROR 2019-09-05 10:29:05,700 NetUtil.py:97 - SS ...
分类：
其他好文 时间：
2020-04-14 11:04:38
阅读次数：
116
1.Hadoop的发展历史起源介绍 a.Hadoop最早起源于Nutch、Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询的功能，但随着抓取网页数量的增加，遇到了严重的可扩展的问题——如何解决数10亿网页的存储和索引问题。 b.2003、2004年谷歌发表的两篇论文为该问题 ...
分类：
其他好文 时间：
2020-04-03 12:26:15
阅读次数：
105
工作需要，大数据相关组件又得重新搭建，整理了一下。序号主机名IP程序CPU内存磁盘操作系统1ambari.dev.smcaiot.com172.16.4.74Ambari4C24GB200GBCentOSLinuxrelease7.4.1708(Core)2master.dev.smcaiot.com172.16.4.74Master4C24GB200GBCentOSLinuxrelease7.4
分类：
其他好文 时间：
2020-03-10 23:28:13
阅读次数：
115
源码编译安装 Ambari 2.7.5，记录步骤如下 1.1 安装依赖 官方Build过程：https://cwiki.apache.org/confluence/display/AMBARI/Ambari+Development 1.2 下载和编译 参考：https://cwiki.apache. ...
分类：
其他好文 时间：
2020-03-10 16:08:25
阅读次数：
718
一、启动服务时，出现若干循环符号链接错误，比如下面是启动ranger时发生的其中一个错误信息： setup_tagsync(upgrade_type=upgrade_type) File "/var/lib/ambari-agent/cache/stacks/HDP/3.0/services/RAN ...
分类：
其他好文 时间：
2020-02-08 11:44:06
阅读次数：
83
1131 cd /apps/hadoop/hdfs/namenode/ 1132 rm -rf current in_use.lock 1133 cd /apps/hadoop/hdfs/data/ 1134 rm -rf current in_use.lock 1135 cd /hadoop/hd ...
分类：
其他好文 时间：
2020-02-08 11:25:21
阅读次数：
80
刚开始debug ambari server的时候，很多逻辑都是第一次接触。其中有很多知识点还是记录一下的好，做个备忘。这些知识点对于自定义api的开发还是很有作用的。 1. api的子href的最后一个字符串如何定义？例如，指定一个id？ 解答： ambari 2.6 编辑key_properti ...
分类：
其他好文 时间：
2020-01-26 15:54:32
阅读次数：
80
