升级之Spark升级 在CDH5.12.1集群中，默认安装的Spark是1.6版本，这里需要将其升级为Spark2.1版本。经查阅官方文档，发现Spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。 Cloudera发布 ...
分类：
其他好文 时间：
2020-04-22 13:33:45
阅读次数：
98
一、集群服务器配置说明（整个过程中我会提前把一些小坑填上，有的坑后面没有提到） IP 节点名 OS Cores Memory Disk Remark 172.25.16.1 cdh1 CentOS7.5 40 128 4T cloudera Server、cloudera agent 172.25. ...
分类：
其他好文 时间：
2020-04-16 18:00:39
阅读次数：
332
1.创建maven工程并导入jar包 jdk使用1.8、maven3.x版本 pom.xml添加一下内容 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cl ...
分类：
编程语言 时间：
2020-04-09 00:13:36
阅读次数：
97
1、图形页面表展示限制为5000，业务需要进行调整。参数如下/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hue/apps/beeswax/src/beeswax/server/hive_server2_lib.py744max_rows=5000754max_rows=5000771max_rows=5000784max_rows=5
分类：
其他好文 时间：
2020-04-08 12:28:37
阅读次数：
327
一、impala基本介绍? 所有的计算都是基于内存来的，官方推荐每台服务器的内存最少128G起 impala是cloudera提供的一款高效率的sql查询工具，提供实时的查询效果，官方测试性能比hive块3到10倍，其sql查询比sparkSQL还要快，号称是当前大数据领域最快的查询sql工具。 i ...
分类：
其他好文 时间：
2020-04-04 18:48:40
阅读次数：
81
Flume定义： Flume是Cloudera提供的一个高可用的、高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构， 灵活简单。 为什么选用Flume 主要作用： 实时读取服务器本地磁盘的数据， 将数据写入到HDFS Flume的组织架构 1、最简单的组织架构 2、Flume ...
分类：
Web程序 时间：
2020-04-02 22:33:57
阅读次数：
107
原文链接： https://www.toutiao.com/i6771763211927552523/ CDH简单了解 CDH: C：cloudera(公司) D：distribute H：Hadoop 解决了大数据Hadoop 2.x生态系统中各个框架的版本兼容问题，不用自己编译, CDH适合商用 ...
分类：
其他好文 时间：
2020-03-21 00:07:13
阅读次数：
91
【摘要】 大数据容器化，大势所趋。头部玩家在进行大数据容器化后，尝到了甜头？ 大数据的需求热度，从来都是这个时代的浪尖。然而由于大数据系统的复杂性，一度导致业界大数据已死的各种声音不断。尤其是当MapR被HPE收购，Cloudera公司股票持续跌成狗，使得这种声音进一步放大。其实，大数据的需求一直在 ...
分类：
其他好文 时间：
2020-03-19 17:44:59
阅读次数：
110
1、下载安装包 安装包下载地址： http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.2.tar.gz 将安装包上传到node01服务器/kkb/soft路径下，并进行解压 cd /kkb/soft/ tar -zxvf hbase- ...
分类：
其他好文 时间：
2020-03-18 13:55:31
阅读次数：
70
背景：1、ApacheSentry是Cloudera公司发布的一个Hadoop开源组件，它提供了细粒度级、基于角色的授权以及多租户的管理模式，2、Sentry当前可以和Hive/Hcatalog、ApacheSolr和ClouderaImpala集成，为这些组件提供权限管理服务。3、基于角色的管理（role-basedacesscontrol）通过创建角色，将每个组件的权限授予给此角色，然后在用户
分类：
其他好文 时间：
2020-03-09 19:38:28
阅读次数：
72
