记一次关闭Hadoop时no namenode to stop异常 ? 在自己的虚拟机环境上跑着hadoop集群，一直正常运行着，不用的时候直接挂起虚拟机，今天需要做些调整，但是发现集群突然无法正常关闭了。遂祭出百度大法~： 大家都知道，关闭集群的命令是 和`stop yarn.sh`,然鹅我执行完 ...
分类：
其他好文 时间：
2019-10-26 00:54:18
阅读次数：
109
最初使用的阿里云云盘只有50G 正常运行的hadoop集群突然无法正常运行了，web页面显示节点为UNHEALTHY 使用df -m命令，发现一些节点磁盘空间占用达到了99%，因此要扩容磁盘空间 1.为云盘建立快照，以防出错 2.磁盘扩容 3.选择扩容容量，选在线扩容，付费 4.如果是centos7 ...
分类：
其他好文 时间：
2019-10-22 15:16:53
阅读次数：
110
linux有免密登录，这个功能在搭建hadoop集群时很有用，因为有了它远程启动集群或做其他操作就不需要一遍遍的输入密码了，参考博文下面记录一下。 公钥私钥对 linux下通过ssh-keygen -t rsa命令可以在本机生成一对公钥私钥对(使用的是rsa非对称加密算法，rsa是三个数学家的名字首 ...
分类：
系统相关 时间：
2019-10-20 10:36:02
阅读次数：
91
前提：虚拟机可以上网，hadoop集群搭建成功并且启动。注意：每行代码所执行的路径。一、安装MySQL1、在线安装MySQLyuminstallmysql-server安装完成2、启动MySQL服务servicemysqldstart3、设置MySQLroot用户密码（1）、默认没有密码，所以直接进入MySQL按回车即可。（2）、输入命令设置root密码setpasswordforroot@loc
分类：
其他好文 时间：
2019-10-18 15:40:53
阅读次数：
113
一、MapReduce基本概述1、定义是一个分布式运算程序编程框架。核心功能是将用户编写的业务逻辑代码和自带的默认组件整合成一个完整的分布式程序，并发运行在一个hadoop集群上。2、优缺点（1）优点1>易于编程：以普通程序的编程方法加上使用MapReduce提供的接口，可以快速完成分布式程序的编写。2>良好的扩展性：计算资源得不到满足时，可以通过简单的增加计算机器来扩展计算能力3&g
分类：
其他好文 时间：
2019-10-18 09:29:36
阅读次数：
99
关于虚拟机模板 想用vagrant搭建hadoop集群，要完成以下准备工作： 1. 三个虚拟机实例操作系统都是CentOS7的server版； 2. 每个实例都要安装同样的应用、关闭防火墙、关闭swap等； 今天就来做个模板，用此模板创建好的虚拟机都已经完成了上述操作； 关于vagrant的安装和基 ...
分类：
其他好文 时间：
2019-10-06 20:37:21
阅读次数：
115
Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapReduce 程序 HQL 转换 MR 流程： Hive 处理的数据存储在 ...
分类：
其他好文 时间：
2019-10-04 22:31:39
阅读次数：
120
三节点hadoop集群搭建教程 一、 安装VMware虚拟机 二、 创建第一个Linux虚拟机节点，本机使用的centOS7.6 64位版本 三、 创建2个克隆节点 四、 3节点都关闭防火墙 命令:systemctl stop firewalld 关闭后查看防火墙状态确认是否关闭成功：systemc ...
分类：
其他好文 时间：
2019-10-04 15:23:10
阅读次数：
110
参见 HDP2.4安装(五)：集群及组件安装 ，安装配置的spark版本为1.6, 在已安装HBase、hadoop集群的基础上通过 ambari 自动安装Spark集群，基于hadoop yarn 的运行模式。 目录： Spark集群安装 参数配置 测试验证 Spark集群安装： 在ambari ...
分类：
其他好文 时间：
2019-10-02 01:00:23
阅读次数：
123
Hadoop简介 Hadoop由Apache基金会开发的分布式系统基础架构，是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠，高扩展，高效性，高容错等优点。Hadoop 框架最核心的设计就是HDFS和MapR ...
分类：
其他好文 时间：
2019-09-25 12:47:34
阅读次数：
126
