kafka是一个高吞吐量,低延迟分布式的消息队列系统.kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒 一. kafka模型 kafka提供了一个生产者,缓冲区,消费者的模型 1.1 模型分析 broker:kafka集群有多个broker服务器组成,用于存储数据(消息) topic:不同 ...
分类：
其他好文 时间：
2019-12-30 14:34:06
阅读次数：
78
导读：
腾讯视频云针对H.265/HEVC 转码性能的基准测试表明：在单任务延迟条件下，英特尔®至强® 铂金 8180 处理器的转码性能是英特尔® 至强® E5- 2699 v4 处理器的 2 倍，而在全吞吐量条件下，前者的转码性能是后者的 1.4-1.5 倍。
3G 时代有图文，4G 时代有视频，随着手机的
分类：
其他好文 时间：
2019-12-29 09:29:57
阅读次数：
105
hdfs的设计前提和目标： 1.认为硬件错误是常态而不是异常 2.流式数据访问，注重批处理和高吞吐量，而不是低延迟 3.大规模数据集 4.一次写入多次读取的文件访问模式 5.移动计算比移动数据更加划算 6.异构软硬件平台间的可移植性 namenode： 作用 1.存储文件和目录的元数据（元数据放在内 ...
分类：
其他好文 时间：
2019-12-27 21:40:48
阅读次数：
93
异步请求 使用副线程处理 请求，主线程可以做其他事情，提高吞吐量 ...
分类：
其他好文 时间：
2019-12-27 18:20:08
阅读次数：
108
一、Hbase基本原理 1、hbase基本介绍 HBASE是一个分布式的，面向列的开源数据库。Hbase的存储是基于hadoop的。因为Hadoop实现了一个分布式文件系统（HDFS），基于hadoop意味着hbase与生俱来的超强的扩展性和吞吐量，hbase采用的是key、value的存储方式。意 ...
分类：
数据库 时间：
2019-12-26 17:38:01
阅读次数：
82
Hadoop Distributed File System：分布式文件系统。 HDFS基于流数据模式访问和处理超大文件需求开发，具有高容错性，高可靠性，高可扩展性，多部署在低成本的硬件上。HDFS提供对应用程序数据的高吞吐量访问，便利了海量数据的处理介绍假设和目标硬件故障：检测故障并从中快速恢复流... ...
分类：
其他好文 时间：
2019-12-25 23:59:16
阅读次数：
161
1. 负载均衡的概念 负载均衡建立在现有网络结构上，它提供一种廉价有效透明的方法扩展网络设备和服务器的带宽，增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。 负载均衡有两方面的含义： 首先，大量的并发访问或数据流量分担到多台节点设备上分别处理，减少用户等待响应的时间； 其次，单个重负载的 ...
分类：
其他好文 时间：
2019-12-25 12:45:31
阅读次数：
73
RcoketMQ：【 1.低延时：在高压下，1毫秒内超过99.6%的反应延迟。 2.面向金融：具有跟踪和审计功能的高可用性。 3.行业可持续发展：保证了万亿级的消息容量。 4.厂商中立：一个新的开放的分布式消息和流媒体标准自最新的4.1版本。 5.BigData友好：批量转移与多功能集成的洪水吞吐量 ...
分类：
其他好文 时间：
2019-12-24 12:04:42
阅读次数：
104
程序在运行过程中，会产生大量的内存垃圾（一些没有引用指向的内存对象都属于内存垃圾，因为这些对象已经无法访问，程序用不了它们了，对程序而言它们已经死亡），为了确保程序运行时的性能，java虚拟机在程序运行的过程中不断地进行自动的垃圾回收（GC）。关于 JVM 的 GC 算法主要有下面四种： 1、引用计 ...
分类：
编程语言 时间：
2019-12-23 20:56:56
阅读次数：
85
操作系统复习 第一章 操作系统概述 基本概念 1. 吞吐量：单位时间内系统能处理的工作量。 2. 进程：正在动态执行的程序 3. 实时操作系系统：实时计算。计算的正确性不仅依赖于系统计算的逻辑结果，还依赖于产生这个结果的时间一类的计算。 4. 操作系统的特征：现代操作系统大多支持多任务，具有并发、共 ...
分类：
其他好文 时间：
2019-12-21 17:08:32
阅读次数：
115
