技术选型，爬虫能做什么？ 1、Scrapy VS requests+beautifulsoup requests和beautifulsoup都是库，Scrapy是框架。 scrapy框架可以加入requests和beautifulsoup。 scrapy是基于twisted，性能是最大的优势。 sc ...
分类：
其他好文 时间：
2020-05-09 19:05:02
阅读次数：
58
双绞线简介 双绞线（twisted pair，TP）是一种综合布线工程中最常用的传输介质，双绞线一般由两根22～26号绝缘铜导线相互缠绕而成，在一个电缆套管里的，不同线对具有不同的扭绞长度，一般地说，扭绞长度在38.1mm～140mm内，按逆时针方向扭绞，相临线对的扭绞长度在12.7mm以内。双绞线 ...
分类：
其他好文 时间：
2020-05-09 13:09:11
阅读次数：
129
Scrapy框架是一套基于Twisted的异步处理框架，用Python实现的爬虫框架，相对于requests模块和urllib模块,我们只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，适合爬取大量的数据，也是我们学习爬虫必须掌握的技能。 ...
分类：
编程语言 时间：
2020-04-16 13:10:12
阅读次数：
77
[TOC] 一 、IO操作本质 数据复制的过程中不会消耗CPU 二、 IO模型 1. BIO – 阻塞模式I/O 用户进程从发起请求，到最终拿到数据前，一直挂起等待； 数据会由用户进程完成拷贝 2. NIO – 非阻塞模式I/O 用户进程发起请求，如果数据没有准备好，那么立刻告知用户进程未准备好；此 ...
分类：
其他好文 时间：
2020-04-14 21:05:27
阅读次数：
129
使用工具：siege 代码结构： hello.py templates |--hello.html hello.py代码： from flask import Flask, render_template app = Flask(__name__) @app.route('/') @app.rout ...
分类：
Web程序 时间：
2020-04-11 20:47:31
阅读次数：
102
Scrapy 使用了 Twisted 异步非阻塞网络库来处理网络通讯，整体架构大致如下（绿线是数据流向）： Scrapy主要包括了以下组件： 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请 ...
分类：
其他好文 时间：
2020-04-05 18:28:55
阅读次数：
140
OSFP 400G SR8 DAC Direct AttachCable is a twinax cable solution with two copper-based conductors fortransmitting electrical signals at short distances. The OSFP DAC Direct AttachCable transmit the signals faster (i.e. with a lesser latency) and require considerablyless current, compared to electrical signals sent via a twisted pair cable.
1. scrapy框架：大而全的爬虫组件。 2. 安装：注意：scrapy依赖Twisted - Win:下载：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twistedpip3 install wheel pip install Twisted-19.10 ...
分类：
其他好文 时间：
2020-03-25 10:51:36
阅读次数：
86
# 1.在安装scrapy前需要安装好相应的依赖库, 再安装scrapy, 具体安装步骤如下: (1).安装lxml库: pip install lxml (2).安装wheel: pip install wheel (3).安装twisted: pip install twisted文件路径 (t ...
分类：
其他好文 时间：
2020-03-24 10:33:46
阅读次数：
62
scrapy 是一个很强大的爬虫框架，可以自定义很多插件，满足我们不同的需求.... 首先我们应该要会用twisted 写web service 其实scrapy 已经帮我们做了整理了 from scrapy.utils.reactor import listen_tcp listen_tcp就可以 ...
分类：
Web程序 时间：
2020-02-02 18:05:14
阅读次数：
276
