利用虚拟机安装docker，在docker环境中搭建HDP大数据平台 前言 : 在一台虚拟机上搭建3个docker容器 作为安装HDP的环境，虚拟机环境centos7.6 docker环境为centos7.6 https://hub.docker.com/_/centos 在此网站查询想要的版本号 ...
分类：
其他好文 时间：
2020-04-29 01:26:09
阅读次数：
537
实时数据分析门槛较高，我们如何用极少的开发工作就完成实时数据平台的搭建，做出炫酷的图表呢？ 如何快速的搭建实时数据分析平台，首先我们需要实时数据的接入端，我们选择高扩展性、容错性、速度极快的消息系统Kafka，而实时数据仓库，由于 Druid提供了非常方便快捷配置方式，如果不想编写负责的Flink和 ...
分类：
其他好文 时间：
2020-04-28 14:53:34
阅读次数：
59
1 /* 2 定义一个变量，存储所有店的店头ID 3 分别取到每个店的客户InvitedPerson（取到这个店的所有线索） 4 对取到的线索进行筛选:按照时间对所有的线索进行排序 5 定义一个变量，去重之后的InvitedPerson存储起来 6 按照InvitedPerson查找出来的两条或者N ...
分类：
数据库 时间：
2020-04-27 17:00:45
阅读次数：
152
（IDC张美艳）虽然容灾备份一直备受企业关注，但是根据调查显示，大多数公司并没有对自己的企业IT做好充足的容灾准备。IDG研究服务的调查结果显示，42%的受调查企业仍没有部署现代化的容灾恢复的解决方案，尽管之前这些企业遭受过数据丢失。 这些企业中的多数依然依靠无效的手段流程和磁带进行备份。不过这种备份方式正在悄然变化。大多数受访者预期，在未来的18个月的时间里，他们将用高可用性、自动化系统的系统
分类：
其他好文 时间：
2020-04-26 23:53:31
阅读次数：
89
大数据平台CDH5.16.2安装配置标签（空格分隔）：大数据平台构建一：环境初始化二：安装CDH5.16.21.1:系统环境介绍系统：RHEL7.7X64cat/etc/hosts---172.17.100.21rhel01.flyfish172.17.100.22rhel02.flyfish172.17.100.23rhel03.flyfish172.17.100.24rhel04.flyfis
分类：
其他好文 时间：
2020-04-26 11:06:22
阅读次数：
143
1前言 分布式数据库已经成为许多金融级大型企业基础数据平台的一个核心组成部分，承担着，在线交易，数据中台，历史数据管理，非结构化影像平台等多个重要业务的支撑工作。 不同于传统的应用/数据库一对一的部署方式，新一代数据平台使用一个统一的存储，对接着上层几十甚至上百个不同的应用，这种情况下，不同应用之间 ...
分类：
数据库 时间：
2020-04-26 10:53:39
阅读次数：
88
1前言分布式数据库已经成为许多金融级大型企业基础数据平台的一个核心组成部分，承担着，在线交易，数据中台，历史数据管理，非结构化影像平台等多个重要业务的支撑工作。不同于传统的应用/数据库一对一的部署方式，新一代数据平台使用一个统一的存储，对接着上层几十甚至上百个不同的应用，这种情况下，不同应用之间对于资源的调度会成为系统是否能够正常对外提供服务的重要因素。但是在像数据中台、历史数据平台这类应用中，对
分类：
数据库 时间：
2020-04-26 10:42:16
阅读次数：
70
hyperbase和hbase一样，底层数据结构的存储依托于hdfs；今天我们对星环的大数据平台组件hyperbase在hdfs上的存储做一下简单的介绍； TDH: 4.x系列 TDH4.9.2之后开始使用的版本是对应开源的1.3.1，之前版本对应的开源的0.98.6 5.x系列 TDH5.2.3之 ...
分类：
其他好文 时间：
2020-04-21 11:23:59
阅读次数：
139
官网参考地址：https://docs.gethue.com/administrator/configuration/connectors/ presto和clickhouse的配置方式基本一致 presto的配置 进入hue的家目录执行以下命令 ./build/env/bin/pip instal ...
分类：
其他好文 时间：
2020-04-14 18:51:32
阅读次数：
342
背景 背景说起来有点复杂，公司的项目旧平台已经弃用（相关人员都离职的七七八八），但是系统却还在运行（虽说是演示系统）。 在职人让找离职的，离职让找在职的，没办法，只好自己搞。 就平台跑在k8s集群上，其中一个服务作为大数据平台，数据存储在hbase数据库。 由于平台没有人运维，一直都有挂掉起不来的可 ...
分类：
数据库 时间：
2020-03-31 23:07:44
阅读次数：
104
