CDH6.3.2集成flink的部署配置标签(空格分隔):大数据平台构建一:flink的简介二:cdh6.3.2集成flink一:flink的简介ApacheFlink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。此外,Flink的运
分类:
其他好文 时间:
2020-06-22 09:30:23
阅读次数:
415
安装好虚拟机后。在虚拟机关机的状态下,在该虚拟机上右键选择设置,配置网络 这里需要设置两块网卡 网卡1:用于主机访问内网,以及内网间访问 网卡2:用于虚拟机访问外网 配置主机网络 管理>主机网络管理器(我用的是 vboxnet0) 手动配置网卡,不启用 dhcp服务器 全局配置 NAT 上网 管理> ...
分类:
系统相关 时间:
2020-06-15 10:08:52
阅读次数:
79
指标是集合网络搜索得到的汇总并且现在在使用的,现在记录一下 数据平台:Prometheus v2.18.1 展示平台:Grafana 指标来源: 日志类的是mtail 其他都是通过jmx_exporter采集的 couter 指的是Prometheus 的指标类型之一,详情请看官网 使用jmx——e ...
分类:
其他好文 时间:
2020-06-12 21:43:23
阅读次数:
65
? 现如今每个公司都有自己的大数据平台和大数据团队,可以看出大数据建设在公司的重要地位,不管是用于做数据分析、BI还是做用于机器学习、人工智能等领域,大数据都是基础,海量数据成为了互联网公司的重要资产。 今天这一份书单,我们将推荐几本综合介绍大数据平台和技术栈的优质书籍,帮各位对大数据技术感兴趣的小 ...
分类:
其他好文 时间:
2020-06-09 23:47:55
阅读次数:
163
消费者是品牌最重要的资产,如何能够更好地留存消费者是企业制胜的关键。以阿里为代表的平台也提出了要从“流量运营”向“消费者运营”的转型。在信息技术发展日新月异的今天,各大企业与平台纷纷建立了自己的大数据平台,累积了海量的数据,如何利用这些数据来洞察消费者,做好消费者运营,成为企业必修的一个课题。本文将 ...
分类:
其他好文 时间:
2020-06-07 09:17:50
阅读次数:
168
在人口流量红利不再,获客成本越来越高的时代,精益创业、MVP的概念已经深入人心,精细化运营也是大势所趋,而这些背后本质上都依赖数据化运营,那如何根据现有业务,快速从0开始打造一个契合业务的数据产品呢?本文将以某二手交易平台业务为基础,讲述整个数据平台从0到1的演进与实践,希望对大家能有所启发。1、背景在某二手交易平台开始大数据平台建设之前,整个数据从需求提出到研发流程再到数据报表、数据产品,也是经
分类:
其他好文 时间:
2020-06-06 23:08:48
阅读次数:
242
CDH6.3.2启用Kerberos集成使用phoenix标签(空格分隔):大数据平台构建一、下载并安装Phoenixparcel二、安装CSD文件三、在ClouderaManager中添加Phoenix服务(前提是已经安装了HBase服务)四、配置HBase以用于Phoenix五、验证Phoenix安装与冒烟测试六、导入数据验证测试七、七:关于phoinex的schema与hbase的names
分类:
其他好文 时间:
2020-06-05 00:31:53
阅读次数:
121
如何在CDH6.3.2启用Kerberos中使用sentry限制用户读写标签(空格分隔):大数据平台构建一:系统环境介绍二:CDH6.3.2启用安装sentry三:sentry使用四:启用sentry测试一:系统环境介绍操作系统CentOS7.5x64cdh/cm版本cm:6.3.1cdh:6.3.2采用root用户操作前置条件:1.CDH集群运行正常2.集群已启用Kerberos且正常使用##二
分类:
其他好文 时间:
2020-06-04 01:09:14
阅读次数:
106
CDH6.3.2开启kerberos遇到的坑标签(空格分隔):大数据平台构建一:关于安装系统的一些坑二:关于开启KerberosJava的一些坑三:关于hive一:关于安装系统的一些坑1)安装之前一定确认jdk的安装目录因为通过centos7这个系统默认会在装之前会自带一些jdk版本要彻底卸载这个jdk,最好是保证安装系统之前自装最简的centos7.5x64mini2)系统最好分区为三个/swa
分类:
其他好文 时间:
2020-06-02 18:51:54
阅读次数:
209
CDH6.3.2开启Kerberos认证标签(空格分隔):大数据平台构建一:如何安装及配置KDC服务二:如何通过CDH启用Kerberos三:如何登录Kerberos并访问Hadoop相关服务一:如何安装及配置KDC服务1.1系统环境1.操作系统:CentOS7.5x642.CDH6.3.23.采用root用户进行操作1.2KDC服务安装及配置1.在ClouderaManager服务器上安装KDC
分类:
其他好文 时间:
2020-05-30 11:10:46
阅读次数:
263