import gevent from gevent import monkey import requests,time,re,os """ 协程爬虫的意义在于解决堵塞的耗时操作，epoll机制不过用gevent好像不错，先来看下gevent的概念 其原理是当一个greenlet遇到IO(指的是in ...
分类：
其他好文 时间：
2018-05-19 21:30:14
阅读次数：
240
python之路——协程 阅读目录 一 引子 二 协程介绍 三 Greenlet模块 四 Gevent模块 引子 之前我们学习了线程、进程的概念，了解了在操作系统中进程是资源分配的最小单位,线程是CPU调度的最小单位。按道理来说我们已经算是把cpu的利用率提高很多了。但是我们知道无论是创建多进程还是 ...
分类：
编程语言 时间：
2018-05-18 20:08:24
阅读次数：
235
【Locust】1.安装提示No module named gevent安装VS版本，在pythonhttp://www.360doc.com/content/15/0414/13/12067640_463121220.shtmltoolskey = 2. 打印输出结果response.conten ...
分类：
Web程序 时间：
2018-05-16 13:10:47
阅读次数：
728
前言 学网络I/O的时候难免会碰到这样或那样的异步IO库，比如libevent、libev、libuv，看完UNP之后动手写过几个简单的小玩意，总感觉网络底层的那些函数使用起来好麻烦，一个接一个地man起来也挺费劲，于是学习这些成熟网络I/O库的想法应运而生。 初看这些库的简介感觉都差不多，原理和p ...
分类：
其他好文 时间：
2018-05-15 00:33:31
阅读次数：
479
https://www.jianshu.com/p/b5e347b3a17c python asyncio 网络模型有很多中，为了实现高并发也有很多方案，多线程，多进程。无论多线程和多进程，IO的调度更多取决于系统，而协程的方式，调度来自用户，用户可以在函数中yield一个状态。使用协程可以实现高效 ...
分类：
编程语言 时间：
2018-05-13 23:04:22
阅读次数：
285
主要知识点： 一、协程介绍 二、greenle模块 三、gevent模块 1?? 协程介绍 1、前言+回顾 1.1 并发的本质 实例： 第二点：第一种情况的切换。在任务一遇到io情况下，切到任务二去执行，这样就可以利用任务一阻塞的时间 完成任务二的计算，效率的提升就在于此。 注意：单线程下，我们不可 ...
分类：
其他好文 时间：
2018-05-13 00:34:42
阅读次数：
200
使用gevent实现mysql并发时，每个greenlet应该独享一个mysql连接，否则，不同的greenlet之间会相互影响。 ultramysql doesn't allow you to make multiple queries on the same mysql connection, ...
分类：
数据库 时间：
2018-05-08 14:42:52
阅读次数：
191
socketserver = 多进程 + 多线程 + IO模型 一、上节课复习及作业讲解 a、spawn用法复习 from gevent import monkey,spawn;monkey.patch_all() import time def f1(): print('from f1 1') t ...
分类：
编程语言 时间：
2018-05-02 22:15:44
阅读次数：
249
异步 + 回调：就是把下载好的东西回调主进程执行 或者回调给线程，哪个线程闲着就执行 线程Queue： 线程Event：event.wait() gevent： 协程： 1、单线程下实现并发：协程 并发指的是多个任务看起来是同时运行的 并发实现的本质:切换 + 保存状态 并发、并行、串行 并发：看起 ...
分类：
编程语言 时间：
2018-05-02 02:57:49
阅读次数：
224
作为一个Python Web 开发工程师，pyg0每天都喜滋滋的写着基于各种web框架的业务代码。 突然有一天，技术老大过来跟pyg0说，嘿，我们要新上线一个服务，你来帮我部署一下吧。不用太复杂。用gunicorn跑flask， 启8个进程， 用gevent模式跑就可以。这个很好配，给你一个小时吧。 ...
分类：
其他好文 时间：
2018-04-29 19:58:44
阅读次数：
194
