分布式图片服务器FastDFS 1. 什么是FastDFS FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制, 充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上 ...
分类:
其他好文 时间:
2019-01-20 13:50:16
阅读次数:
230
1.HDFS的设计思路? hdfs是分布式的文件系统,用来在廉价的集群上做大数据量的存储。1.大文件被切割成小文件,使用分而治之的思想让很多服务器对同一个文件进行联合管理2.每个小文件做冗余备份,并且分散存到不同的服务器,做到高可靠不丢失2.HDFS的架构?namenode:集群老大,掌管文件系统目录树,处理客户端读且请求SecondaryNamenode:持久化元数据,主要
分类:
其他好文 时间:
2019-01-11 14:46:18
阅读次数:
164
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中,常常会碰到一个问题,整个大数据是由各个子系统组成,数据需要在各个子系统中高性能,低 ...
分类:
其他好文 时间:
2018-12-17 02:23:19
阅读次数:
187
网站可用性所谓网站可用性(availability)也即网站正常运行时间的百分比,业界用N个9来量化可用性,最常说的就是类似“4个9(也就是99.99%)”的可用性。容灾恢复能力的关键指标RPO:(RecoveryPointObejective,恢复点目标)是指业务系统所允许的在灾难过程中的最大数据丢失量,用来衡量容灾系统的数据冗余备份能力。RTO:(RecoveryTimeObjective,恢
分类:
其他好文 时间:
2018-12-13 19:19:52
阅读次数:
441
目录(来自于 大型网站技术架构:核心原理与案例分析+李智慧 书籍) 无状态应用的构建 应用服务器集群的session管理 构建高可用的服务 构建高可用的数据 高可用的网站软件质量保证手段 前言 目的 保证服务器硬件故障时依然可用,数据依然保持并能够访问 手段 数据和服务的冗余备份以及失效转移机制 有 ...
分类:
Web程序 时间:
2018-12-13 11:32:57
阅读次数:
222
一、前言 1.1 什么是FastDFS? FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 1.2 Fas ...
分类:
其他好文 时间:
2018-11-29 23:15:50
阅读次数:
299
FastDFS分布式文件系统 1. 什么是FastDFS FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制, 充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传 ...
分类:
其他好文 时间:
2018-11-27 19:37:52
阅读次数:
177
一.Kafka简介 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,使用Scala语言编写,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,多订阅者,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据(实时性的计算)。 在大数据系统中,常常会碰到一 ...
分类:
其他好文 时间:
2018-10-18 00:47:23
阅读次数:
159
一句话总结:使用官方Mysql Innodb Cluster集群方案实现Mysql冗余备份,无单点故障的高可用性。 项目背景: 腾讯数据中心网络的SDN控制器,项目业务对数据的要求如下: 1、对数据可用性要求高,要求多节点冗余备份,Mysql单点故障后可以切换到其他节点 2、对数据准确性要求高,对M ...
分类:
数据库 时间:
2018-09-24 16:45:37
阅读次数:
192
FastDfs 分布式文件系统 充分考虑负载均衡,冗余备份,线性扩容,并注重高可用 FastDFS 架构包括 Tracker server 和 Storage server 客户端请求 Tracker server 进行文件上传、下载,通过 Tracker server 调度最终由 Storage ...
分类:
其他好文 时间:
2018-08-25 23:01:47
阅读次数:
167