Redis的List数据类型作为消息队列,已经比较合适了,但存在一些不足,比如只能独立消费,订阅发布又无法支持数据的持久化,相对前两者,RedisStream作为消息队列的使用更为有优势。相信球迷小伙伴们对文字直播这个东西都不陌生,时常在想,这个功能是怎么实现的?具体说就是用什么技术实现最为合适?如何面对数以百万计的读压力?广告消息是如何插播进来的?最后的历史消息如何归档,如何持久化存储?文字直播
分类:
其他好文 时间:
2019-07-16 12:42:01
阅读次数:
92
Kubernetes中的大部分概念如Node、Pod、Replication Controller、Service等都可以看作一种"资源对象",几乎所有的资源对象都可以通过Kubernetes提供的kubectl工具(或者API编程调用)执行增、删、改、查等操作并将其保存在etcd中持久化存储。从这 ...
分类:
Web程序 时间:
2019-07-10 14:58:40
阅读次数:
156
本例使用nfs 创建pv [root@k8s-master data]# vi pv.yaml apiVersion: v1kind: PersistentVolumemetadata: name: webspec: capacity: storage: 5Gi accessModes: - Rea ...
分类:
其他好文 时间:
2019-07-09 00:05:41
阅读次数:
126
一.全站爬取(CrawlSpider) 1.基本概念 2.项目示例 ①.爬取抽屉网多页数据对象 ②爬取阳光热线 多页及详情页数据,持久化存储 二.分布式 1.基本概念 2.实现流程 3.示例(阳光热线的爬取): 三.增量式爬虫 1.对url去重(爬取4567电影网数据) 2.对数据的去重(糗事百科) ...
分类:
其他好文 时间:
2019-07-04 09:42:08
阅读次数:
85
一. redis的高可用 在Redis中,实现高可用的技术主要包括持久化、复制、哨兵和集群 持久化:持久化是最简单的高可用方法(有时甚至不被归为高可用的手段),主要作用是数据备份,即将数据存储在硬盘,保证数据不会因进程退出而丢失。 复制:复制是高可用Redis的基础,哨兵和集群都是在复制基础上实现高 ...
分类:
其他好文 时间:
2019-06-30 12:24:39
阅读次数:
79
在k8s中部署有状态应用时,通常需要做数据持久化存储。 后端存储的方式有以下几种: 1.基于宿主机本地的存储方式; (重启pod时,若pod被调度到其他节点上,尽管原来节点上的数据不会丢失,但是其他节点上没有该应用存储过的数据,所以并不持久化) 2.基于本地过云存储服务的方式,如:(NFS、glus ...
分类:
其他好文 时间:
2019-06-25 00:18:17
阅读次数:
156
今天主要分享一下 redis 3主3从 集群的搭建过程。redis经常用来做缓存,可以提升读取数据的速度,数据都是存在内存中的,采用 RDB 或者 AOF 持久化存储后便可以实时落地到硬盘。本次主要是3主3从。架构原理如下: 题图:来自于网络 图片中的每一个圆圈都代表一台服务器。客户端访问任何一台服 ...
分类:
其他好文 时间:
2019-06-23 17:42:31
阅读次数:
140
初识MySQL1. 了解主流的数据库和数据库分类1.1 数据库概念数据库:按照数据结构来组织、存储和管理数据的一种建立在计算机存储设备上的仓库。 数据库的优势: 1. 可以持久化存储大量的数据、方便我们进行检索2. 可以保证数据的安全和数据的一致性(事务...)3. 可以很轻松的通过数据库来提取出新 ...
分类:
数据库 时间:
2019-06-23 14:13:54
阅读次数:
130
1.存储卷概述 因为pod是有生命周期的,pod一重启,里面的数据就没了,所以我们需要数据持久化存储,在k8s中,存储卷不属于容器,而是属于pod,也就是说同一个pod中的容器可以共享一个存储卷,存储卷可以是宿主机上的目录,也可以是挂载在宿主机上的外部设备. 存储卷类型: emptyDIR存储卷:p ...
分类:
其他好文 时间:
2019-06-16 13:55:16
阅读次数:
112
关于Identity和IdentityServer初学的时候可能会有一些疑惑(虽然我也不是很精深吧),但是,这里说一下自己关于这两者的一些理解,如有错误,欢迎指正 总体上, ASP.NET Core Identity提供了一个用来管理和存储用户账户的框架. IdentityServer是一个中间件, ...
分类:
其他好文 时间:
2019-06-16 11:31:43
阅读次数:
98