由于多线程爬取数据比单线程的效率要高，尤其对于爬取数据量大的情况，效果更好，所以这次采用多线程进行爬取。具体代码和流程如下： import math import re from concurrent.futures import ThreadPoolExecutor import requests ...
分类：
编程语言 时间：
2021-05-24 12:04:44
阅读次数：
0
代码： 1 import time 2 import traceback 3 import requests 4 from lxml import etree 5 import re 6 from bs4 import BeautifulSoup 7 from lxml.html.diff impo ...
分类：
数据库 时间：
2021-05-24 12:00:17
阅读次数：
0
一、INSERT INTO 语句用于向表中插入新记录 1.1【插入单行】insert [into] <表名> (列名) values (列值)例：insert into Strdents (姓名,性别,出生日期) values ('开心朋朋','男','1980/6/15') 1.2【将现有表数据添 ...
分类：
数据库 时间：
2021-05-24 11:00:23
阅读次数：
0
1 # 输入身份证打印出生年月日 2 programer_1 = '你知道我的生日吗？' 3 print('甲说：', programer_1) 4 programer_2 = '输入你的省份证号：' 5 print('乙说：', programer_2) 6 idcard = input() 7 ...
分类：
其他好文 时间：
2021-05-24 09:21:56
阅读次数：
0
Markdown学习 标题 三级标题 四级标题 字体 Hello，Word ！ Hello，Word ！ Hello，Word ！ Hello，Word ！ 引用 选择狂神说java，走向人生巅峰 分割线 图片 超链接 点击跳转到狂神博客 列表 A B C A B C 表格 名字性别生日 张三 男 ...
分类：
其他好文 时间：
2021-05-24 08:15:31
阅读次数：
0
MarkDown学习 标题： #+空格+标题名字 二级标题 ##+空格+标题 三级标题 ###+空格+标题 四级标题 ####+空格+标题 最多只支持奥六级标题 字体 Hello World！粗体：两旁各加两个** Hello World！斜体：两旁各加一个* Hello World！粗斜体：两旁各 ...
分类：
其他好文 时间：
2021-05-24 07:55:23
阅读次数：
0
最近做一个爬虫项目，需要curl请求第三方系统，其中一个请求放到postman的时候秒回，代码curl请超时，打印错误信息：empty reply from server 翻阅网上资料无果，只能用排除法，去掉请求的一些配置看是哪里影响了，最后发现去掉post data 后请求秒回，虽然返回的是请求失 ...
分类：
Web程序 时间：
2021-05-24 07:00:36
阅读次数：
0
python正则表达式 1、re简介 正则表达式re，是Regular Expression的简称。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。 2、在python中使用正则表达式 在python中许多场合（本人是在使用爬虫时）正则表达式都能起到很关键的作用，在使用前，先引用re包 ...
分类：
编程语言 时间：
2021-05-24 06:44:03
阅读次数：
0
Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)。 一、Scrapy-Redis分布式策略： Master端(核心服务器)：搭建一个Redis数据库，并开启redis-server ...
分类：
其他好文 时间：
2021-05-24 06:20:04
阅读次数：
0
EC-final 2020-2021 西安游记 那就从4.12开始记录吧 4.12 今天是阿绫生日，刚好赶上下午第二节课没课，看到阿绫B站动态说东门老街金天地百货阿绫将要闪亮登场，就打算去打卡留念。。然后去东门老街机位捕捉一下垃圾桶D727和回送0D728，然后去光华分店m记（内地第一家m记）白嫖一 ...
分类：
其他好文 时间：
2021-05-24 06:17:34
阅读次数：
0
