场景在当前项目中，因为之前使用数据库查询，而随着数据的增多，查询速度会越来越慢，所以需要使用Java来调用hive进行数据统计。本篇博文主要是使用springboot+hive来查询hive数据，并返回查询的数据结果。 环境软件 版本springboot 2.1.8.RELEASECDH 5.15. ...
分类：
编程语言 时间：
2021-06-02 15:43:55
阅读次数：
0
方案一： 如果是集成CDH环境，首先检查/etc/hive/conf目录下是不是有atlas-application.properties文件，如果没有，从atlas路径下copy一份过去 方案二： 如果确认文件已经有了，导入还是报错，强行修改import-hive.sh文件,指定HIVE_CP=/ ...
分类：
其他好文 时间：
2021-05-24 13:38:19
阅读次数：
0
CDH添加HUE时数据库连接失败 查看cloudera-scm-server日志报错信息是：ImportError: libxslt.so.1: cannot open shared object file: No such file or directory 原因是centos缺少库文件，执行如下 ...
分类：
其他好文 时间：
2021-04-22 15:53:25
阅读次数：
0
现在的网站支持Https几乎是标配功能，Nginx能很好的支持Https功能。下面列举一个配置同时支持Http和Https的功能。 需要注意的是：既然选择使用Https，就是为了保证通信安全，那么就没必要再用Http进行通信了。在URL中还支持Http的方式，主要是为了用户不知道网站支持Https， ...
分类：
Web程序 时间：
2021-01-01 12:37:08
阅读次数：
0
大数据是指无法在一定时间范围内用常规软件工具进行处理和分析的数据集合，需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能的海量、高增长率和多样性的信息资产
分类：
其他好文 时间：
2020-10-08 18:36:53
阅读次数：
17
今天介绍用 Flink 读取Kafka生成的数据，并进行汇总的案例 第一步：环境准备，kafka，flink，zookeeper。我这边是用的CDH环境，kafka跟zookeeper 都安装完毕，并测试可以正常使用 第二步：用kafka创建一个生产者进行消息生产 ./kafka-console-p ...
分类：
其他好文 时间：
2020-09-17 18:33:12
阅读次数：
26
一、软件介绍1、CDH概览CDH（ClouderaDistributionofApacheHadoop）是ApacheHadoop和相关项目中最完整、经过测试和流行的发行版。CDH提供Hadoop的核心元素，可伸缩存储和可扩展分布式计算，以及基于web的用户界面和关键的企业功能。CDH是apache授权的开放源码，是惟一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解
分类：
其他好文 时间：
2020-09-17 16:53:39
阅读次数：
33
一、概述 当CDH平台开启kerberos后，需要kdc服务验证通过和kerberos协议验证通过才可以。如果将spark程序部署在CDH 机器上，直接在生成keytab并使用principal登录kerberos即可。 如果当spark应用程序部署在第三方机器上时，还需要处理krb5.conf注册 ...
分类：
其他好文 时间：
2020-08-13 12:07:11
阅读次数：
88
CDH 装完 ES 集群，查看 http://hadoop1:9200 报错 { "error" : { "root_cause" : [ { "type" : "master_not_discovered_exception", "reason" : null } ], "type" : "mas ...
分类：
其他好文 时间：
2020-07-27 15:38:00
阅读次数：
65
分析 验证 parcel 文件的哈希值 和 sha 文件不一致：文件损坏，重新下载 和 sha 官网一致：配置httpd文件 参考 哈希值和官网不一致 https://blog.csdn.net/lvwenyuan_1/article/details/105676748 哈希值和官网一致 https ...
分类：
其他好文 时间：
2020-07-17 11:11:51
阅读次数：
139
