##Hbase和Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。HBase是Hadoop的数据库,一个分布式、可扩展、大数据的存储。单个的从字面意思上或许很难看出二者的 ...
分类:
其他好文 时间:
2021-02-19 12:52:56
阅读次数:
0
科技迅速开展的当下,越来越多的常见现象完成了智能化办理。例如,日子中的取快递服务,曾经都是由快递员扫码发送短信,告诉收件人收取包裹,有时收件人无法及时赶到快递点,快递点简单积压快递,收件人的快递甚至有或许会被当成无效包裹整理。而现在,随着技能的开展,研发了智能化收取包裹的快递柜,选用一物一码,快递员... ...
分类:
其他好文 时间:
2021-02-18 13:58:00
阅读次数:
0
前面一篇文章提到大数据开发-Spark Join原理详解,本文从源码角度来看cogroup 的join实现 1.分析下面的代码 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} obje ...
分类:
其他好文 时间:
2021-02-16 12:23:59
阅读次数:
0
《Hadoop全权威指南第三版(原版)》 链接: https://pan.baidu.com/s/1O0AwkvstyRdB69Tiw8o7Ww 密码: 29li 有问题拿不到直接联系作者哦! 大数据越来越热。Hadoop技术是大数据技术的基础。 掌握了大数据技术,就意味着可以轻松找到高薪工作。 人 ...
分类:
其他好文 时间:
2021-02-15 11:48:45
阅读次数:
0
在围绕Hadoop形成的大数据技术生态当中,MapReduce的地位,在早期是处于核心地位的,但是伴随着数据处理实时性需求的不断提升,更多新的计算框架出现,MapReduce的地位受到压制,但是作为Hadoop原始计算框架,还是需要相应程度的了解和掌握的。今天的大数据入门分享,我们来具体讲一讲Map ...
分类:
其他好文 时间:
2021-02-09 12:33:28
阅读次数:
0
postgresql数据库 timescaledb 时序库 把大数据量表转换为超表 文章目录 postgresql数据库 timescaledb 时序库 把大数据量表转换为超表一 创建新表二 把新表改为超表三 插入数据1.数据量不大的情况可以直接插入2.如果数据量比较大 可以采取 一天一天 插入 或 ...
分类:
数据库 时间:
2021-02-06 11:48:38
阅读次数:
0
postgresql数据库 timescaledb 时序库 把大数据量表转换为超表 文章目录 postgresql数据库 timescaledb 时序库 把大数据量表转换为超表一 创建新表二 把新表改为超表三 插入数据1.数据量不大的情况可以直接插入2.如果数据量比较大 可以采取 一天一天 插入 或 ...
分类:
数据库 时间:
2021-02-06 11:48:18
阅读次数:
0
Java第一课 一、数据类型 原始数据类型(八大数据类型) 数据类型取值 boolean true/false byte(1个字节) -128到127 short(2个字节) -32768到32767 char(2个字节) 0到65535 int(4个字节) -2^31~2^31-1 long(8个 ...
分类:
编程语言 时间:
2021-02-03 10:36:02
阅读次数:
0
什么是限流器? 限流器是一种限制某种操作在一定时间内的执行次数(例如每秒钟5次)或者执行量(例如每秒钟1G大小的数据)的机制。 限流器是一种防御性的编程实现方式,在大数据量高并发访问时,经常会出现服务或接口面对暴涨的请求而不可用的情况,甚至引发连锁反映导致整个系统崩溃。此时你需要使用的技术手段之一就 ...
分类:
其他好文 时间:
2021-01-30 12:19:16
阅读次数:
0
#kafka ##1.kafka基础架构 Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。 消息生产者(发布)将消息发布到topic中,同时有多个消息消费者(订阅)消费该消息。和点对点方式不同,发布到topic的消息会被所有订阅者消费。 (1)Producer : ...
分类:
其他好文 时间:
2021-01-30 12:13:24
阅读次数:
0