1. 前言 在执行一些 IO 密集型任务的时候，程序常常会因为等待 IO 而阻塞。比如在网络爬虫中，如果我们使用 requests 库来进行请求的话，如果网站响应速度过慢，程序一直在等待网站响应，最后导致其爬取效率是非常非常低的。 为了解决这类问题，本文就来探讨一下 Python 中异步协程来加速的 ...
分类：
其他好文 时间：
2020-01-23 21:11:08
阅读次数：
69
日期：2020.01.23 博客期：131 星期四 如果想要看到前面的铺垫，请看第130期博客！ 【本博客的代码如若要使用，请在下方评论区留言，之后再用（就是跟我说一声）】 我试着改写了一下爬虫脚本，试着运行了一下，第一次卡在了第27页，因为第27页有那个“投诉”类型是我没有料到的！出于对这个问题的 ...
分类：
编程语言 时间：
2020-01-23 09:46:23
阅读次数：
131
舆情爬虫是网络爬虫一个比较重要的分支，舆情爬虫往往需要爬虫工程师爬取几百几千个新闻站点。比如一个新闻页面我们需要爬取其标题、正文、时间、作者等信息，如果用传统的方式来实现，每一个站点都要配置非常多的规则，如果要维护一个几百上千的站点，那人力成本简直太高了。 如果有一种方式可以在保证差不多的准确率的前 ...
分类：
其他好文 时间：
2020-01-22 22:11:04
阅读次数：
173
日期：2020.01.22 博客期：130 星期三 【代码说明，如果要使用此页代码，必须在本博客页面评论区给予说明】 今天来说一说爬取的工作进展，我们的要求是爬取首都之窗的信件类型，那么我们就开始吧！ 首先，先找到网页：http://www.beijing.gov.cn/hudong/hdjl/co ...
分类：
编程语言 时间：
2020-01-22 19:54:11
阅读次数：
80
下面不做过多文字描述： 首先、安装必要的库 # 安装BeautifulSoup pip install beautifulsoup4 # 安装requests pip install requests 其次、上代码！！！ ①重定向网站爬虫h4文字 import requests from bs4 i ...
分类：
编程语言 时间：
2020-01-22 18:23:01
阅读次数：
75
接上一篇文章https://www.cnblogs.com/pu369/p/12202845.html只讲了原理，抽时间写个了实用版，将员工信息爬取到一个TXT文档中，以便于查询，上代码： //纯golang爬虫 package main import ( "bytes" "fmt" "io/iou ...
分类：
其他好文 时间：
2020-01-22 14:49:26
阅读次数：
92
现在随着我们的工作需要，越来越多的人已经开始使用换IP软件。现在市场上也有很多类的换IP软件，所以我们会在，如何选择换IP软件？
分类：
其他好文 时间：
2020-01-21 09:24:00
阅读次数：
74
安装 pip3 install you-get 使用方法 you-get 视频网址 b站视频下载测试 支持的网站一栏 ...
分类：
其他好文 时间：
2020-01-21 00:32:23
阅读次数：
91
前期准备 本爬虫将从网站爬取排名前几的网站，具体前几名可以具体设置，并分别爬取他们的主页，检查是否引用特定库。 github地址 所用到的node主要模块 express 不用多说 request http模块 cheerio 运行在服务器端的jQuery node-inspector node调试 ...
分类：
Web程序 时间：
2020-01-20 20:50:53
阅读次数：
71
网络爬虫是什么？ 网络爬虫就是：请求网站并提取数据的自动化程序 网络爬虫能做什么？ 网络爬虫被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。 网络爬虫还被用于爬取各个网站的数据，进行分析、预测近几年来，大量的企业和个人开始使用网络 ...
分类：
编程语言 时间：
2020-01-20 15:12:56
阅读次数：
192
