Hadoop权威指南 第四版 大数据越来越热。Hadoop技术是大数据技术的基础。 掌握了大数据技术,就意味着可以轻松找到高薪工作。 人工智能、机器学习都是基于大数据。 There are new chapters covering YARN (Chapter 4), Parquet (Chapte ...
分类:
其他好文 时间:
2020-06-13 10:25:14
阅读次数:
618
因为从业三年,还未真正接触过性能测试,面试被问到 TPS(每秒事务数)上不去的原因,百度答案以及找到参考 什么是tps呢? (transaction per second) 每秒事务数,指服务器在单位时间内(秒)可以处理的事务数量,一般以request/second为单位。 原因参考大神提供的有以下 ...
分类:
其他好文 时间:
2020-06-12 14:54:55
阅读次数:
71
在写入或更新资料的过程中, 为保证事务 (transaction) 是正确可靠的, 所必须具备的四个特性 (ACID): 原子性 (Atomicity) : 事务中的所有操作, 要么全部完成, 要么全部不完成, 不会结束在中间某个环节。 事务在执行过程中发生错误, 会被回滚 (Rollback) 到 ...
分类:
其他好文 时间:
2020-06-11 13:52:44
阅读次数:
147
#概述 MySQL提供了丰富的日志 事务日志:transaction log 事务日志的写入类型为“追加”,因此其操作为“顺序IO”;通常也被称为:预写式日志 write ahead logging 事务日志文件: ib_logfile0, ib_logfile1 错误日志 error log 通用 ...
分类:
数据库 时间:
2020-06-10 18:49:23
阅读次数:
63
1.ZooKeeper 是什么?
ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,是 Google 的 Chubby 一个开源的实现,
它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易
用的接口和性能高效、功能稳定的系统提供给用户。
客户端的读请求可以被集群中的任意一台机器处理,如果读请求在节点上注册了监听器,这个监听器也是由所
连接的 zookeeper 机器来处理。对于写请求,这些请求会同时发给其他 zookeeper 机器并且达成一致后,请
求才会返回成功。因此,随着 zookeeper 的集群机器增多,读请求的吞吐会提高但是写请求的吞吐会下降。
有序性是 zookeeper 中非常重要的一个特性,所有的更新都是全局有序的,每个更新都有一个唯一的时间戳,
这个时间戳称为 zxid(Zookeeper Transaction Id)。而读请求只会相对于更新有序,也就是读请求的返回
结果中会带有这个 zookeeper 最新的 zxid。
分类:
其他好文 时间:
2020-06-10 17:36:17
阅读次数:
103
propagation 1.Required //deviceService外部事务Propagation.required @Transactional(rollbackFor = Throwable.class) public void updateDeviceStatus(String str ...
分类:
其他好文 时间:
2020-06-09 20:36:54
阅读次数:
90
SinkProcessor共 有 三 种 类 型 , 分 别 是DefaultSinkProcessor 、LoadBalancingSinkProcessor 和 FailoverSinkProcessor。DefaultSinkProcessor 对 应 的 是 单 个 的 Sink , Loa ...
分类:
Web程序 时间:
2020-06-08 18:47:07
阅读次数:
80
概念 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 模型 a)Source:采集组件,用于跟数据源对接,以获取数据 b)Sink:下沉组件,用于往下一级agent传递数据或者往最终存储系统传递数据 c)Channel:传输通道组件,用于从source将数据传递到sink ...
分类:
Web程序 时间:
2020-06-07 21:04:35
阅读次数:
67
1.生产环境出现以下报错 该错误发生在update操作中,该表并未建立索引,也就是只有InnoDB默认的主键索引,发生错误的程序是for循环中update。 什么情况下会出现Deadlock found when trying to get lock? https://dev.mysql.com/d ...
分类:
数据库 时间:
2020-06-06 18:54:39
阅读次数:
81
[SQL Server]内存缓存数据写入磁盘(三)延迟持久性Delayed Durability(和魔鬼交易) 发表于 2019-09-13 | 分类于 后端 | 没有评论 Delayed Durability是SQL Server 2014的新功能,在某些Transaction log负载较大的情 ...
分类:
数据库 时间:
2020-06-05 17:59:10
阅读次数:
85