redis作为一个直接操作内存的key-value存储系统,也是一个支持数据持久化的Nosql数据库,具有非常快速的读写速度,可用于数据缓存、消息队列等。 一、单机版安装 1.下载redis 进入redis官网下载安装包,这里使用的是目前最新版6.0.4 http://download.redis. ...
分类:
系统相关 时间:
2020-06-09 18:59:55
阅读次数:
157
概念 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 模型 a)Source:采集组件,用于跟数据源对接,以获取数据 b)Sink:下沉组件,用于往下一级agent传递数据或者往最终存储系统传递数据 c)Channel:传输通道组件,用于从source将数据传递到sink ...
分类:
Web程序 时间:
2020-06-07 21:04:35
阅读次数:
67
背景 互联网产品中存在很多种类的数据,不同种类的数据对于存储系统的一致性,可用性,扩展性的要求是不同的。比如,金融、账号相关的数据对一致性要求比较高,社交类数据例如点赞对可用性要求比较高。还有一些大规模元数据存储场景,例如对象存储的索引层数据,对一致性,扩展性和可用性要求都比较高,这就需要底层存储系 ...
分类:
其他好文 时间:
2020-06-07 19:13:28
阅读次数:
59
一、kafka 介绍 1.1、kafka 介绍 Kafka 是一个分布式消息引擎与流处理平台,经常用做企业的消息总线、实时数据管道,有的还把它当做存储系统来使用。 早期 Kafka 的定位是一个高吞吐的分布式消息系统,目前则演变成了一个成熟的分布式消息引擎,以及流处理平台。 Kafka 主要起到削峰 ...
分类:
其他好文 时间:
2020-06-04 19:38:12
阅读次数:
162
一、MPP 架构 1、MPP架构的基础概念 MPP (Massively Parallel Processing),即大规模并行处理,在数据库非共享集群中,每个节点都有独立的磁盘存储系统和内存系统,业务数据根据数据库模型和应用特点划分到各个节点上,每台数据节点通过专用网络或者商业通用网络互相连接,彼 ...
分类:
其他好文 时间:
2020-06-04 13:54:20
阅读次数:
312
系统方案方案在注重简单、经济和可靠性的同时,力求构建一个技术先进、性能较高的备份及容灾系统,为学校的重要应用和数据资源提供高效和安全的备份及故障恢复平台,提高校内应用系统的抗灾能力。系统方案充分利用了学校现有风络资源和设备能力,包括校本部与红庙校区互联的专用光纤线路及现有的存储系统。方案的主要内容就是构建基于虚拟带库技术的本地备份和基于存储数据复制技术的异地容灾。系统方案拓扑图如图1所示。本地备份
分类:
其他好文 时间:
2020-06-04 13:46:23
阅读次数:
109
区块链yottachain云盘它是由互联网企业和个人提供很多的信息,储存,读取下载的服务。而它的特点就是安全稳定,海量储存。它目前的业务主要是提供,云盘空间租赁,远程备份的几大类,其中与企业和个人关系最密切的就是Yottachain企业云盘数据存储应用。
分类:
其他好文 时间:
2020-06-02 18:49:30
阅读次数:
64
Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。 简而言之,redis将数据放在内存中,而不是每次都存取数据库,内存比硬盘快若干倍,如此就实现了超快速的访问,也降低了数据库的压力。 官方网站:redis.io 本文安装环境为:CentOS 7 6 ...
分类:
其他好文 时间:
2020-06-01 10:24:13
阅读次数:
130
1.1、概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统; 导出数据:从Hadoop的文件系统中导出数据到关系数据库mysql等 1.2、sqoop1与 ...
分类:
其他好文 时间:
2020-05-31 19:30:40
阅读次数:
69
408大纲中是这样要求的 二、进程管理(一)进程与线程1.进程概念2.进程的状态与转换3.进程控制4.进程组织5.进程通信共享存储系统,消息传递系统,管道通信。6.线程概念与多线程模型 1.进程的概念 打开任务管理器,这些便是进程,有你打开的,也有系统一直运行着的,比如系统中断 上概念:进程是程序的 ...
分类:
系统相关 时间:
2020-05-31 11:10:30
阅读次数:
100