2021年MongoDB中文社区杭州技术大会由MongoDB中文社区联合MongoDB官方,Tapdata 和阿里云一同举办,将于7月3日(周六)在杭州余杭区举办,大会分享MongoDB典型用例及最新功能特性,基于MongoDB构建零售行业实时系统及IOT平台,MongoDB在视频服务平台类型各业务 ...
分类:
数据库 时间:
2021-06-24 18:16:28
阅读次数:
0
什么是任务调度 大数据平台技术框架支持的开发语言多种多样,开发人员的背景差异也很大,这就产生出很多不同类型的程序(任务)运行在大数据平台之上,如:MapReduce、Hive、Pig、Spark、Java、Shell、Python 等。 这些任务需要不同的运行环境,并且除了定时运行,各种类型之间的任 ...
分类:
其他好文 时间:
2021-06-23 17:16:53
阅读次数:
0
安装包 ambari-2.7.3.0-centos7.tar.gz HDP-3.1.0.0-centos7-rpm.tar.gz HDP-UTILS-1.1.0.22-centos7.tar.gz HDP-GPL-3.1.0.0-centos7-gpl.tar.gz Ambari Ambari 跟 ...
分类:
其他好文 时间:
2021-06-23 16:52:56
阅读次数:
0
简介: 最佳实践,以DLA为例子。DLA致力于帮助客户构建低成本、简单易用、弹性的数据平台,比传统Hadoop至少节约50%的成本。其中DLA Meta支持云上15+种数据数据源(OSS、HDFS、DB、DW)的统一视图,引入多租户、元数据发现,追求边际成本为0,免费提供使用。DLA Lakehou ...
分类:
其他好文 时间:
2021-06-18 20:06:29
阅读次数:
0
简介: 本文将会讲述共享充电宝开创企业来电科技如何基于 Flink + Hologres 构建统一数据服务加速的实时数仓 作者:陈健新,来电科技数据仓库开发工程师,目前专注于负责来电科技大数据平台离线和实时架构的整合。 深圳来电科技有限公司(以下简称 “来电科技”)是共享充电宝行业开创企业,主要业务 ...
分类:
其他好文 时间:
2021-06-17 17:00:49
阅读次数:
0
前言 Elastic自身设计了集群分片的负载平衡机制,当有新数据节点加入集群或者离开集群,集群会自动平衡分片的负载分布。 需求背景 公司原有大数据平台基于公有云构建,由于种种原因,现在需要迁移到自建机房,Elasticsearch集群承担了大数据平台主要的对外查询需求,也有部分实时计算需求基于Ela ...
分类:
其他好文 时间:
2021-05-24 03:46:38
阅读次数:
0
Ambari2.7.4+HDP3.1.4安装Centos7离线安装标签(空格分隔):大数据平台构建一:关于HDP的介绍二:系统环境介绍三:系统环境初始化四:安装HDP3.1.4平台一:关于HDP的介绍1.1ambari的介绍Ambari是一种基于Web的工具,支持ApacheHadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、P
分类:
其他好文 时间:
2020-12-16 11:45:59
阅读次数:
4
一.plugin有什么用 plugin是webpack核心功能,通过plugin(插件)webpack可以实现loader所不能完成的复杂功能,使用plugin丰富的自定义API,可以控制webpack编译流程的每个环节,实现对webpack的自定义功能扩展。欢迎访问 这里 查看更多关于大数据平台建 ...
分类:
Web程序 时间:
2020-12-15 12:02:43
阅读次数:
3
大数据查询引擎Presto简介SQLonHadoop:Hive的出现让技术人员可以通过类SQL的方式对批量数据进行查询,而不用开发MapReduce程序MapReduce计算过程中大量的中间结果磁盘落地使运行效率较低为了提高SQLonHadoop的效率,各大工具应运而生,比如Shark、Impala等SQLonHadoop的常见工具:Presto是什么:Presto是由Facebook开发的分布式
分类:
数据库 时间:
2020-11-21 12:01:11
阅读次数:
8
ApacheRanger简介ApacheRanger提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点:丰富的组件支持(HDFS,HBASE,HIVE,YARN,KAFKA,STORM)提供了细粒度级权限控制(h
分类:
其他好文 时间:
2020-11-18 13:10:32
阅读次数:
10