高性能异步爬虫 目的：在爬虫中使用异步实现高性能的数据爬取操作。 异步爬虫的方式： - 多线程、多进程（不建议）： - 好处：可以为相关阻塞的阻塞单独开启线程或者进程，阻塞操作就可以异步执行。 - 弊端：无法无限制的开启多线程或者多进程。 - 线程池、进程池（适当使用）： - 好处：可以降系统对进程 ...
分类：
其他好文 时间：
2020-07-28 09:59:36
阅读次数：
66
前言 有声小说相信大家都不陌生了, 里面的音频基本都是一些声优录制的。其实除了录制音频, 咱们可以利用百度开放的api接口使用python语言在线合成语音。 制作属于自己的有声小说, 一睹为快吧!! 本文内容： 爬取指定章节的小说 调用百度api开放接口实现文字转换语音 读取文本的处理, 保存音频数 ...
分类：
编程语言 时间：
2020-07-27 17:45:24
阅读次数：
82
大部分的网站展示的数据都进行了分页操作，那么将所有页码对应的页面数据进行爬取就是爬虫中的全站数据爬取。 基于scrapy如何进行全站数据的爬取? 使用request方法，给callback传参(函数), 函数解析请求回来的数据，实现全站数据爬取 爬虫文件 import scrapy from lea ...
分类：
其他好文 时间：
2020-07-27 17:41:42
阅读次数：
69
【一、项目简介】本文主要目标是采集淘宝的评价，找出客户所需要的功能。统计客户评价上面夸哪个功能多，比如防水，容量大，好看等等。【二、项目准备工作】1.准备Pycharm，下载安装等，可以参考这篇文章：Python环境搭建—安利Python小白的Python和Pycharm安装详细教程2.爬取商品地址，如下所示：https://detail.tmall.com/item.htm?spm=a230r.
分类：
编程语言 时间：
2020-07-27 09:55:52
阅读次数：
103
# 设置爬虫的用户代理池以及ip代理池 import urllib.request import random def set_user_ip_proxy(): #设置用户代理池 header_list = ["Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv ...
分类：
Web程序 时间：
2020-07-27 09:27:04
阅读次数：
116
【一、项目简介】 本文主要目标是采集淘宝的评价，找出客户所需要的功能。统计客户评价上面夸哪个功能多，比如防水，容量大，好看等等。 【二、项目准备工作】 准备Pycharm，下载安装等，可以参考这篇文章：Python环境搭建—安利Python小白的Python和Pycharm安装详细教程 爬取商品地址 ...
分类：
编程语言 时间：
2020-07-26 23:00:28
阅读次数：
104
我们有时候会不会有这种困扰: 在网上看到一个很好看的视频想下载保存下来,却发现没有下载选项,会不会觉得很失望. 看了这篇博客后,保管能减少你这样的烦恼. 我们利用HTTP协议和HttpURLConnection完成网上资源的爬取,这样不用网站提供下载选项我们也能拿到我们自己想要的资源 甚至有些收费的 ...
分类：
Web程序 时间：
2020-07-26 16:03:07
阅读次数：
106
一、python爬虫环境与简介 二、认识HTTP 三、简单静态网页爬取 四、常规动态网页爬取 五、模拟登陆 六、PC客户端抓包 七、Scrapy爬虫 一、python爬虫环境与简介 1、认识爬虫 （1）爬虫的概念 网络爬虫也被称为网络蜘蛛、网络机器人，是一个自动下载网页的计算机程序或自动化脚本。 网 ...
分类：
编程语言 时间：
2020-07-25 09:28:47
阅读次数：
66
在对http://zkgg.tjtalents.com.cn/newzxxx.jsp这个网页爬取内容时，如果只使用Jsoup进行解析的话，起内部的a href标签内容无法获取到。 但是实际上通过 Document doc = Jsoup.connect(url).get(); 获取到的文档只是new ...
分类：
Web程序 时间：
2020-07-24 21:09:19
阅读次数：
96
