最近学了一点点python爬虫的知识，面向百度编程爬了一本小说之后感觉有点不满足，于是突发奇想尝试爬一本漫画下来看看。 一、效果展示 首先是我们想要爬取的漫画网页： http://www.manhuadao.cn/ 网页截图： 其次是爬取下来的效果： 每一回的文件夹里面是这样的： (因为网站图片的问 ...
分类：
编程语言 时间：
2019-08-15 21:05:26
阅读次数：
137
数据解析 requests实现数据爬取的流程 因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整个页面的数据，所以，我们的数据爬取的流程可以修改为： 正则解析 常用的正则表达式回顾： re模块练习： 项目爬取练习： Xpath解析 xpath表达式 ...
分类：
其他好文 时间：
2019-08-15 21:04:49
阅读次数：
87
# 爬取搜索字段的封面信息 ''' q ： 搜索的类型 可以识别中文 天猫控制登录字段： sort： 排序 s：起始第几个商品 问题1： 把s删除以后，虽说可以跳过登陆，但是只能访问第一页了，何解？ 解决： 多次点击页面后发现，淘宝测试不完全，在点击跳转页面后，将其的url后的参数只保留 q tot... ...
分类：
其他好文 时间：
2019-08-14 23:16:48
阅读次数：
107
Scrapy 爬虫登入 知乎网 使用 API 爬取用户信息 在使用此项目时请先了解 Scrapy 项目源码如何实现的: 这里的爬虫已经结合 Docker , 由于没有使用多线程工作所以这里使用 Docker 启动特定数量的服务进行爬数据, 镜像拉去地址: 项目内有 Dockerfile 提供参考。 ...
分类：
其他好文 时间：
2019-08-14 18:53:49
阅读次数：
126
常用工具命令 常用工具命令 全局命令 项目命令 全局命令 Scrapy 可执行文件命令说明： Fetch 命令 主要用来显示爬虫爬取的工程。如图： 如果在项目目录之外执行命令，则会调用 Scrapy 默认的爬虫来进行网页的爬取。 可以通过 Fetch 附带的参数进行爬取相关的数据，如： --head ...
分类：
其他好文 时间：
2019-08-14 18:50:32
阅读次数：
99
一 Scrapy框架的简介 为了爬取网站数据而编写的一款应用框架,所谓的框架其实就是一个集成了相应的功能且具有很强通用性的项目模板 该框架提供了高性能的异步下载，解析和持久化等功能 二 安装 linux or max os ： windows: 三 基础使用 (1) 创建一个工程: scrapy s ...
分类：
其他好文 时间：
2019-08-14 10:49:43
阅读次数：
85
时间不等人，我学爬虫的近期目的是爬取一个网站的资源，主要是在大量的伪html中访问url不断请求数据，关键问题在正则表达 和访问速度上。 1/简单的爬虫架构示例 2/ 运行流程 3/URL管理器 网页下载器-urllib2 网页解析器-正则表达式、html.paser、BeautifulSoup、I ...
分类：
编程语言 时间：
2019-08-12 23:55:50
阅读次数：
190
中国空气质量在线监测分析平台数据爬取分析 页面分析：确定url、请求方式、请求参数、响应数据 1.访问网站首页：https://www.aqistudy.cn/html/city_detail.html，通过抓包工具分析首页请求并没有获取到页面内的数据信息 2.因此可以确定页面内的数据是动态加载的， ...
分类：
Web程序 时间：
2019-08-12 23:36:55
阅读次数：
183
太久没有写爬虫了，掌握的知识不能让他生疏了 想了想写一个按照输入，能查询到豆瓣里的信息 首先，先打开豆瓣的搜索页面 会发现是这样的，左边有一栏标签，然后有个搜索框。 可以点击标签，观察url的变化，发现https://www.douban.com/search?cat=1001&q=中的cat也相对 ...
分类：
其他好文 时间：
2019-08-11 18:52:49
阅读次数：
161
# 爬取糗图上的图片import re import urllib.request import os def handler_request(url, page): url = url + str(page) + "/" headers = { "user-agent": "Mozilla/5.0... ...
分类：
其他好文 时间：
2019-08-11 17:33:36
阅读次数：
58
