目录 1. scrapy安装与环境依赖 2. 创建项目等 命令介绍 3. 项目目录介绍 4. 框架scrapy介绍：五大核心组件与数据流向 5. scrapy 爬取科客网站 6. scrapy实现多页爬取 9. scrapy 篡改请求与响应，item丢弃 10. scrapy中间件 分类，作用 11 ...
分类：
编程语言 时间：
2020-02-29 13:05:14
阅读次数：
246
title: Python 爬取图片 date: 2019 04 17 23:18:24 tags: Python 这是之前部署hexo时候写的爬取斗图啦网站，目前最新的爬取图片文章：https://www.cnblogs.com/thloveyl/p/12248334.html Requests爬 ...
分类：
其他好文 时间：
2020-02-28 20:53:45
阅读次数：
56
说明: 1.包含一个films.sql文件，基于mysql5.6的数据表导出文件。 2.该sql文件里面包含一个mysql数据表films,内含35000部电影m3u8源地址。 3.films数据表包含每部电影名及对应m3u8源地址。 4.可以直接应用在自己的电影网站上面。 5.资源全自网络爬取而来 ...
分类：
数据库 时间：
2020-02-28 13:53:58
阅读次数：
1658
最近爬取一个网站时，遇到div 的CSS中overflow-y:hidden 解决方法： 利用执行js，改变DIV 的CSS 属性 然后，让屏幕向移动 js =js ="document.getElementById('frozen-west').style='overflow: scroll; p ...
分类：
其他好文 时间：
2020-02-27 15:53:00
阅读次数：
66
概述： 站长之家的图片爬取 使用 解析html 通过浏览器的形式来爬取,爬取成功后以二进制保存，保存的时候根据每一页按页存放每一页的图片 第一页：http://sc.chinaz.com/tupian/index.html 第二页：http://sc.chinaz.com/tupian/index_ ...
分类：
编程语言 时间：
2020-02-27 15:52:45
阅读次数：
79
概述： 制作词云的步骤： 1、从文件中读取数据 2、根据数据追加在一个字符串里面，然后用jieba分词器将评论分开 3、设置WordCloud词云参数 4、保存最后的结果 数据： "使用爬取的豆瓣影评数据" 第一步：引入依赖库 第二步：读取数据 第三步：解析数据并保存 效果图： 模型： 效果： 源代 ...
分类：
编程语言 时间：
2020-02-26 21:17:28
阅读次数：
122
代码出自小甲鱼，复盘，省略了图片的下载部分 正则真的太好用了，不过关键在你想不想的到最高效的正则表达式 1 #!/usr/bin/env python 2 # -*- coding: utf-8 -*- 3 import urllib.request 4 import re 5 6 url = "h ...
分类：
其他好文 时间：
2020-02-25 21:48:51
阅读次数：
76
时间久了，自然就忘了。一时性起，爬取豆瓣玩玩。 1.scrapy startproject novels 创建novel 项目 2.cd novels && scrapy genspider douban douban.com 创建模板 3.上代码。 爬虫主页面： # -*- coding: utf ...
分类：
其他好文 时间：
2020-02-25 20:03:04
阅读次数：
73
一、Scrapy爬虫框架 1、‘5+2’结构：5个模块+2个中间键 5个模块 1) Spider【用户配置】： 框架入口，获取初始爬取请求 提供要爬取的url链接，同时解析页面上的内容 解析Downloader返回的响应(Response) 产生爬取项(Scraped Item) 产生额外的爬取请求 ...
分类：
其他好文 时间：
2020-02-25 18:04:13
阅读次数：
90
ProxyHandler处理器一、如果我们在一段时间内用某个ip地址访问了一个网站次数过多，网站就检测到不正常，就会禁止这个ip地址的访问。所以我们可以设置一些代理服务器，每段时间换个代理，就算ip被禁止，我们也可以换个ip继续爬取 代理有 1、西刺免费代理：http://www.xicidaili ...
分类：
编程语言 时间：
2020-02-25 00:33:37
阅读次数：
86
