什么是任务调度 大数据平台技术框架支持的开发语言多种多样,开发人员的背景差异也很大,这就产生出很多不同类型的程序(任务)运行在大数据平台之上,如:MapReduce、Hive、Pig、Spark、Java、Shell、Python 等。 这些任务需要不同的运行环境,并且除了定时运行,各种类型之间的任 ...
分类:
其他好文 时间:
2021-06-23 17:16:53
阅读次数:
0
安装包 ambari-2.7.3.0-centos7.tar.gz HDP-3.1.0.0-centos7-rpm.tar.gz HDP-UTILS-1.1.0.22-centos7.tar.gz HDP-GPL-3.1.0.0-centos7-gpl.tar.gz Ambari Ambari 跟 ...
分类:
其他好文 时间:
2021-06-23 16:52:56
阅读次数:
0
为什么要分库分表? 将承受并发的能力提升3倍 将大数据了拆成多份 提升sql效率 用过哪些分库分表中间件/不同中间件的优缺点 cobar TDDL 只支持基本的crud操作 atlas 社区不咋维护了 sharding-jdbc(集成client) 运维成本低 缺点是耦合系统版本 mycat(pro ...
分类:
数据库 时间:
2021-06-23 16:37:48
阅读次数:
0
MongoDB概述 MongoDB是一款NoSQL类型的文档型数据库。 NoSQL NoSQL是一种非关系型DMS,不需要固定的架构,可以避免joins链接,并且易于扩展。NoSQL数据库用于具有庞大数据存储需求的分布式数据存储。NoSQL用于大数据和实时Web应用程序。 MongoDB特点 面向文 ...
分类:
数据库 时间:
2021-06-20 18:39:42
阅读次数:
0
平衡树入门——替罪羊树 1 简介 替罪羊树是一颗重量平衡树,不需要旋转,但是非常暴力,据说常数很小,但是我写的替罪羊树跑不过 Treap ,可能常数比较大。。。 2 数据结构解析 2.1 节点结构体 struct node{ int val,l,r,cnt,size,allsize,not_dele ...
分类:
其他好文 时间:
2021-06-20 17:42:23
阅读次数:
0
转自:https://blog.csdn.net/qq_25062299/article/details/95592877 ...
分类:
其他好文 时间:
2021-06-19 19:00:51
阅读次数:
0
redis学习 五大数据类型,开发必会的技能 老师的博客 https://www.cnblogs.com/pyyu/p/9467279.html string,字符串类型 hash,哈希类型,如同python的dict Set,无序集合 Zset,有序集合 List,双向队列,向左插入数据,向右插入 ...
分类:
其他好文 时间:
2021-06-19 18:53:25
阅读次数:
0
在大数据智慧时代背景下,爬虫技术的需求愈发增多。而在最近,淘宝网的大量用户数据就遭到了泄露。6月3日,商丘市睢阳区人民法院在裁判文书网,公开了一份刑事判决书,显示两名犯罪分子在淘宝爬取并盗走大量数据。 经过检方核实,被盗取的淘宝用户数据近 12 亿条。淘宝去年 8 月 14 日报警,有黑产人员通过接 ...
分类:
其他好文 时间:
2021-06-17 17:19:00
阅读次数:
0
简介: 本文将会讲述共享充电宝开创企业来电科技如何基于 Flink + Hologres 构建统一数据服务加速的实时数仓 作者:陈健新,来电科技数据仓库开发工程师,目前专注于负责来电科技大数据平台离线和实时架构的整合。 深圳来电科技有限公司(以下简称 “来电科技”)是共享充电宝行业开创企业,主要业务 ...
分类:
其他好文 时间:
2021-06-17 17:00:49
阅读次数:
0
1. String(字符串) 1.1 简介 String是Redis最基本的类型,一个key对应一个value。 String类型是二进制安全的。意味着Redis的string可以包含任何数据。比如jpg图片或者序列化的对象。 String类型是Redis最基本的数据类型,一个Redis中字符串va ...
分类:
其他好文 时间:
2021-06-13 10:17:51
阅读次数:
0