这里分享两个技巧 1.scrapy-redis分布式爬虫 我们知道scrapy-redis的工作原理，就是把原来scrapy自带的queue队列用redis数据库替换，队列都在redis数据库里面了，每次存，取，删，去重，都在redis数据库里进行，那我们如何使用分布式呢，假设机器A有redis数据 ...
分类：
其他好文 时间：
2018-02-10 21:55:29
阅读次数：
2570
架构、分布式、日志队列，标题自己都看着唬人，其实就是一个日志收集的功能，只不过中间加了一个Redis做消息队列罢了。前言为什么需要消息队列？当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候，就需要消息队列，作为抽象层，弥合双方的差异。比如我们系统中常见的邮件、短信发送，把这些不需要及时响应的功能写入队列，异步处理请求，减少响应时间。如何实现？成熟的JMS消息队列中间件产品市面上有很多
分类：
编程语言 时间：
2018-02-07 10:25:01
阅读次数：
302
本文使用redis来实现乐观锁，并以秒杀系统为实例来讲解整个过程。 乐观锁 大多数是基于数据版本（version）的记录机制实现的。即为数据增加一个版本标识，在基于数据库表的版本解决方案中，一般是通过为数据库表增加一个”version”字段来实现读取出数据时，将此版本号一同读出，之后更新时，对此版本 ...
分类：
其他好文 时间：
2018-02-06 13:04:49
阅读次数：
230
架构、分布式、日志队列，标题自己都看着唬人，其实就是一个日志收集的功能，只不过中间加了一个Redis做消息队列罢了。 前言 为什么需要消息队列？ 当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候，就需要消息队列，作为抽象层，弥合双方的差异。 比如我们系统中常见的邮件、短信发送，把这些不 ...
分类：
编程语言 时间：
2018-02-02 11:43:58
阅读次数：
197
Redis分布式缓存安装和使用
独立缓存服务器: LinuxCentOS
?
Redis版本: 3.0
?
下面我们针对于Redis安装做下详细的记录：
?
编译和安装所需的包:
?
#yum install gcc tcl创建安装目录：
?
#mkdir /usr/local/redis
分类：
其他好文 时间：
2018-01-31 11:25:49
阅读次数：
132
1. 在多线程并发的场景下，使用锁来控制多个任务对同一共享资源的访问，拿到锁的任务优先访问公共资源 //并发的用户数 private static final int threadNum = 10; //倒计数器（发令抢），用于制造线程的并发执行 private static CountDownLa ...
分类：
其他好文 时间：
2018-01-30 16:39:00
阅读次数：
105
先看代码 方案一：Redis分布式锁 该方法完美的解决了超卖与select排它锁导致的并发低的问题，并且4个sql缩减成2个sql语句。极大提升性能 方案二：利用redis的原子性操作（incrBy方法、decrBy方法--返回操作之后的值） 利用redis的原子性操作 对于Redis而言，命令的原 ...
分类：
其他好文 时间：
2018-01-23 15:50:55
阅读次数：
266
举例子：秒杀方式看医生，一个人看5min 1.第一次只允许一个人直接进行来，X10:00:00进去了，setNX（roomid,now+5min），出来时间假如是10:05:00 2.时间到了10:05:00，3个人同时进来，需要去看墙上的钟表，一个人一个的看 A进入病房看到，看到钟表时间10:05 ...
分类：
其他好文 时间：
2018-01-19 23:31:37
阅读次数：
302
springmvc+mybatis+dubbo分布式平台-maven构建根项目
准备技能
开发语言：JAVA/J2EE
项目构建管理：Maven
持续集成方案：Jenkins
SOA服务： Dubbo、zookeeper、Restful
SSO单点登录：Redis、JWT、Restful
分布式缓存：Redis
分布式消息中间件：zookeeper+kafka
分布式文件：FastDFS
分类：
编程语言 时间：
2018-01-19 11:29:54
阅读次数：
222
首先分享一个业务场景-抢购。一个典型的高并发问题，所需的最关键字段就是库存，在高并发的情况下每次都去数据库查询显然是不合适的，因此把库存信息存入Redis中，利用redis的锁机制来控制并发访问，是一个不错的解决方案。 首先是一段业务代码： 这里有一种比较简单的解决方案，就是synchronized ...
分类：
其他好文 时间：
2018-01-18 11:53:39
阅读次数：
251
