Chrome+IE默认支持粘贴剪切板中的图片,但是我要发布的文章存在word里面,图片多达数十张,我总不能一张一张复制吧?Chrome高版本提供了可以将单张图片转换在BASE64字符串的功能。但是无法处理多张图片。而且转换成BASE64后是作为内容一起提交给服务器,不能够将图片单独保存在另外一台服务 ...
分类:
其他好文 时间:
2020-07-21 13:48:07
阅读次数:
182
什么是Hive: 数据仓库软件,可以通过SQL读写和管理分布式存储的大型数据集,结构可以映射在已经存储的数据。用户可以通过命令行工具和JDBC连接到Hive。 Hive Commands: quit/exit:退出interactive shell reset:重置配置设定到默认值。 set =:设 ...
分类:
其他好文 时间:
2020-07-21 01:27:08
阅读次数:
119
Hive是个啥? 用类似sql语句实现对分布式存储系统的数据读写、管理功能。 HIVE特点 1.使用类sql语句分析大数据,避免MapReduce程序分析数据 2.数据存储在HDFS上,不是HIVE上 3.Hive将数据映射成数据库和一张张表,库和表的元数据信息一般存在关系型数据库。 元数据:描述数 ...
分类:
其他好文 时间:
2020-07-13 12:07:13
阅读次数:
73
Chrome+IE默认支持粘贴剪切板中的图片,但是我要发布的文章存在word里面,图片多达数十张,我总不能一张一张复制吧?Chrome高版本提供了可以将单张图片转换在BASE64字符串的功能。但是无法处理多张图片。而且转换成BASE64后是作为内容一起提交给服务器,不能够将图片单独保存在另外一台服务 ...
分类:
其他好文 时间:
2020-07-09 10:42:59
阅读次数:
70
前言 上一节我们讲了哈希算法的四个应用,分别是安全加密、数据校验、唯一标识、散列函数。今天再来看看剩下的三个应用:负载均衡、数据分片、分布式存储。 可能大家已经发现了,这三个应用都是与分布式相关的。没错,今天我们来学习一下,哈希算法是如何解决这些分布式问题的。 应用五:负载均衡 负载均衡算法有很多, ...
分类:
编程语言 时间:
2020-07-06 20:00:29
阅读次数:
69
承接上一篇HDFS实验,学习入门课后的实验真的是以简单为主,后续估计得每个组件一一击破。 Hbase介绍 Hbase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable:一个结构化的数据的分布式存储系统》。HBase中确定一个元素,需要提供表名,行,列族名,列。因为是以列 ...
分类:
其他好文 时间:
2020-07-05 10:24:53
阅读次数:
74
Kafka 的核心架构原理。 ##Kafka 分布式存储架构 那么现在问题来了,如果每天产生几十 TB 的数据,难道都写一台机器的磁盘上吗?这明显是不靠谱的啊! 所以说,这里就得考虑数据的分布式存储了,我们结合 Kafka 的具体情况来说说。 在 Kafka 里面,有一个核心的概念叫做“Topic” ...
分类:
其他好文 时间:
2020-07-01 17:26:55
阅读次数:
67
Yotta企业云盘云存储快速建立企业数据存储解决方案。伴随数据爆发式增长,分布式云存储的春天已经到来,无论是在安全性、还是访问速度的优势,吸引越来越多的用户选择分布式存储,分布式存储是未来的发展方向已成为业界共识。
分类:
其他好文 时间:
2020-07-01 15:48:51
阅读次数:
47
总结:使用一致性hash-槽-节点方式,一旦增删节点,重新分配变动的槽来保证各节点负载均衡。 一个端口用来正常访问,1****端口用来同步集群状态。1s10次同步。 一、集群的作用 集群,即Redis Cluster,是Redis 3.0开始引入的分布式存储方案。 集群由多个节点(Node)组成,R ...
分类:
其他好文 时间:
2020-06-28 13:38:44
阅读次数:
57
Hadoop是一个能够对海量数据进行分布式处理的系统架构,主要包含3大块:分布式存储系统HDFS(Hadoop Distributed File System)分布式存储层、分布式计算框架MapReduce分布式计算层、资源管理系统YARN(Yet Another Resource Negotiat... ...
分类:
其他好文 时间:
2020-06-27 11:40:19
阅读次数:
93