一.hadoop版本概述 不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）,Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）, Hortonwo ...
分类：
其他好文 时间：
2020-04-28 17:00:18
阅读次数：
557
环境信息 如果是单节点的，建议将虚拟机的内存最小设置为8G，硬盘大小为100G | 类别 | 版本 | 备注 | | | | | | CDH | 6.2.0 | "下载网址" | | 数据库 | mysql 5.7 | | | 系统 | CentOS7 | | | jdk | 1.8 | cdh 修 ...
分类：
其他好文 时间：
2020-04-28 00:10:36
阅读次数：
471
hive表中 desc 及 show create table 查出来字段和表的中文comment全是 ？解决方案： 1、进入CDH的元数据库mysql执行：show create database hive; 发现默认是utf8类型 mysql> show create database hive ...
分类：
其他好文 时间：
2020-04-26 20:41:58
阅读次数：
80
升级之Spark升级 在CDH5.12.1集群中，默认安装的Spark是1.6版本，这里需要将其升级为Spark2.1版本。经查阅官方文档，发现Spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。 Cloudera发布 ...
分类：
其他好文 时间：
2020-04-22 13:33:45
阅读次数：
98
1 Kerberos概述 1 什么是Kerberos Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认 ...
分类：
其他好文 时间：
2020-04-22 13:03:17
阅读次数：
96
一、性能监控Sar命令 语法格式： [root@cdh init.d]# sar -h -A:所有报告的总和 -b:显示I/O和传递速率的统计信息 -B:显示换页状态 -d:输出每一块磁盘的使用信息 -e:设置显示报告的结束时间 -f:从制定的文件读取报告 -i:设置状态信息刷新的间隔时间 -P:报 ...
分类：
系统相关 时间：
2020-04-20 21:30:25
阅读次数：
94
du命令 显示文件或目录所占用的磁盘空间。 命令格式： du [option] 文件/目录 -h 输出文件系统分区使用的情况，例如：10KB，10MB，10GB等 -s 显示文件或整个目录的大小，默认单位是KB 显示当前目录的大小： 显示当前目录下所有文件的大小： 语法： du [-abcDhHkl ...
分类：
其他好文 时间：
2020-04-12 12:28:00
阅读次数：
83
1、图形页面表展示限制为5000，业务需要进行调整。参数如下/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hue/apps/beeswax/src/beeswax/server/hive_server2_lib.py744max_rows=5000754max_rows=5000771max_rows=5000784max_rows=5
分类：
其他好文 时间：
2020-04-08 12:28:37
阅读次数：
327
1、交换内存告警 该告警通常就是使用了swap分区导致的，在生产环境中，如果服务器内存是256G；建议关闭swap分区，减少跟数据盘之间的交互； 2、修改swap阈值 任何：表示只要使用了swap分区就告警； 从不：无论怎么使用swap分区都不告警，即关闭swap告警； 指定：举例说明：如果swap ...
分类：
其他好文 时间：
2020-04-06 10:14:24
阅读次数：
104
一、点击hdfs按钮进入hdfs配置界面 二、开始部署hdfs ha 三、分配角色 设置存储路径，这个可以自定义，我还在学习阶段我就默认了，之前改过，没起来，默认就好了； ...
分类：
Web程序 时间：
2020-04-06 09:58:10
阅读次数：
118
