Redis分布式锁 原子操作 原子操作是指不会被线程调度机制打断的操作。这种操作一旦开始，就会一直运行到结束，中间不会有任何的线程切换。 原理 分布式锁本质上要实现的目标就是在Redis里面占一个坑，当别的线程也要来进行占坑的时候，发现已经被别人占用了，只好放弃或者稍后重试。 占坑使用setnx(s ...
分类：
其他好文 时间：
2020-06-11 23:21:49
阅读次数：
101
关于集群中的"脑裂"问题，之前已经在这里详细介绍过，下面重点说下Zookeeper脑裂问题的处理办法。ooKeeper是用来协调（同步）分布式进程的服务，提供了一个简单高性能的协调内核，用户可以在此之上构建更多复杂的分布式协调功能。脑裂通常会出现在集群环境中，比如ElasticSearch、Zook ...
分类：
其他好文 时间：
2020-03-07 12:50:04
阅读次数：
60
进程和线程的比较 参考链接：https://www.liaoxuefeng.com/wiki/1016959663602400/1017631469467456 我们介绍了多进程和多线程，这是实现多任务最常用的两种方式。现在，我们来讨论一下这两种方式的优缺点。 首先，要实现多任务，通常我们会设计Ma ...
分类：
编程语言 时间：
2019-08-20 12:18:41
阅读次数：
71
一.zookeeper介绍ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、配置维护，名字服务、分布式同步、分布式锁和分布式队列等功能。数据模型：ZooKeeper允许分布式进程通过共享的层次结构命名空间进行相互协调，这与标
分类：
其他好文 时间：
2019-04-06 00:17:28
阅读次数：
131
1.看{python爬虫开发与项目实战}中关于分布式进程，一直卡在这个知识点，书中的这个例子描述是在不同电脑上进行运行的，但这里有一个前提：两台电脑的网段需相同，所以，编程练习时，对着两台电脑一直找问题，始终没解决。 2.书中关于ip地址是127.0.0.1，这个地址是回环地址，在同一台机器上，开两 ...
分类：
编程语言 时间：
2019-01-14 21:32:01
阅读次数：
176
问题1：在学习分布式进程的时候，遇到了一个问题，其官网的代码运行环境是在搭建在linux平台下的，而相同的代码在windows下会产生不一样的结果。 因为linux下创建进程使用的是fork()，而windows平台下创建进程使用是CreateProccess()。fork()调用之后，没有写操作之 ...
分类：
编程语言 时间：
2018-11-20 11:38:04
阅读次数：
185
在Thread和Process中，应当优选Process，因为Process更稳定，而且，Process可以分布到多台机器上，而Thread最多只能分布到同一台机器的多个CPU上。 Python的 multiprocessing 模块不但支持多进程，其中 managers 子模块还支持把多进程分布到 ...
分类：
编程语言 时间：
2018-09-29 11:12:08
阅读次数：
248
#!/usr/bin/env python3 # -*- coding: utf-8 -*- #!/usr/bin/env python3 #-*- coding:utf-8 -*- #多线程 #多任务可以由多进程完成，也可以由一个进程内的多线程完成。 #进程是若干线程组成，一个进程至少有一个线程 ...
分类：
编程语言 时间：
2018-08-28 15:30:48
阅读次数：
209
分布式进程指的是将Process进程分布到多台机器上，充分利用多态机器的性能完成复杂的任务 分布式进程在python 中依然要用到multiprocessing 模块。multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上。可以写一个服务进程作为调 ...
分类：
编程语言 时间：
2018-08-01 14:00:30
阅读次数：
180
爬虫开发过程中 进程和线程的概念是非常重要的 提高爬虫的 工作效率 打造分布式爬虫 都离不开进程和线程的身影 多进程 多线程 协程 分布式进程等四个方面 使用os模块中的fork方法 使用multiprocessing模块 前者仅仅适用Unix/Linux操作系统 对windows不支持 后者是跨平 ...
分类：
编程语言 时间：
2018-07-04 13:24:44
阅读次数：
124
