今天继续爬取一个网站，http://www.27270.com/ent/meinvtupian/这个网站具备反爬，所以我们下载的代码有些地方处理的也不是很到位，大家重点学习思路，有啥建议可以在评论的地方跟我说说。为了以后的网络请求操作方向，我们这次简单的进行一些代码的封装操作。这里在你可以先去安装一个叫做retrying的模块pipinstallretrying这个模块的具体使用，自己去百度吧。嘿
分类：
编程语言 时间：
2019-07-25 09:35:59
阅读次数：
148
蜂鸟网图片--简介今天玩点新鲜的，使用一个新库aiohttp，利用它提高咱爬虫的爬取速度。安装模块常规套路pipinstallaiohttp运行之后等待，安装完毕，想要深造，那么官方文档必备：https://aiohttp.readthedocs.io/en/stable/接下来就可以开始写代码了。我们要爬取的页面，这一次选取的是http://bbs.fengniao.com/forum/foru
分类：
编程语言 时间：
2019-07-25 09:32:51
阅读次数：
102
1.蜂鸟网图片--简介国庆假日结束了，新的工作又开始了，今天我们继续爬取一个网站，这个网站为http://image.fengniao.com/，蜂鸟一个摄影大牛聚集的地方，本教程请用来学习，不要用于商业目的，不出意外，蜂鸟是有版权保护的网站。2.蜂鸟网图片--网站分析第一步，分析要爬取的网站有没有方法爬取，打开页面，找分页http://image.fengniao.com/index.php?a
分类：
编程语言 时间：
2019-07-25 09:31:21
阅读次数：
123
Python格式錯誤解決方案及案例 這幾天在玩爬蟲，在解析和提取内容時經常出現由於内容格式問題導致出錯，為防止以後出錯，整下一下，以下是這幾天的總結： 1. 特殊符號或表情符號等 背景：爬取一個烹飪教學網站，在用BeautifulSoup解析網頁時報錯： UnicodeEncodeError: 'U ...
分类：
编程语言 时间：
2019-07-24 13:41:24
阅读次数：
166
摘要：使用Scrapy爬取豌豆荚全网70,000+App，并进行探索性分析。写在前面：若对数据抓取部分不感兴趣，可以直接下拉到数据分析部分。1分析背景之前我们使用了Scrapy爬取并分析了酷安网6000+App，为什么这篇文章又在讲抓App呢？因为我喜欢折腾App，哈哈。当然，主要是因为下面这几点：第一、之前抓取的网页很简单在抓取酷安网时，我们使用for循环，遍历了几百页就完成了所有内容的抓取，非
分类：
移动开发 时间：
2019-07-24 09:30:09
阅读次数：
108
# 链家新房爬虫 **今日目标** 爬取最新地区以及对应的房价 ```python import requests import re import csv class LianjiaSpider(object): def __init__(self): self.url='https://cq.l... ...
分类：
其他好文 时间：
2019-07-23 22:31:29
阅读次数：
158
偶然看到了一些项目，有爬取糗事百科的，我去看了下，也没什么难的 首先，先去糗事百科的https://www.qiushibaike.com/text/看一下， 先检查一下网页代码， 就会发现，需要爬取的笑话内容在一个span标签里，而且父标签是class为content的div里，那就很简单了，用s ...
分类：
其他好文 时间：
2019-07-23 20:07:45
阅读次数：
144
import pymongo from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by import By from ...
分类：
其他好文 时间：
2019-07-23 13:34:41
阅读次数：
97
猫眼电影网站页面布局整体采用静态页面，其TOP100榜单按照评分和评分人数从高到低综合排序取前100名，如下： 那么，如何爬取电影库中的经典电影呢？为此，本人特意对经典电影库进行了爬取，具体遇到的困难及解决的办法如下： 1、爬取内容：本次爬取维度有电影名称、电影类型、电影制片国家、电影时长/分钟、上 ...
分类：
其他好文 时间：
2019-07-23 09:52:29
阅读次数：
97
在斗鱼的界面中，如果滚动条没有拉下去，那么下面的图片都只是一条鱼的图片，所以要使浏览器自动拉动滚动条，可以用到python的selenium库， 1、配置浏览器 要使用selenium，还需要安装 chromedriver.exe，这里是使用Chrome浏览器，首先在https://npm.taob ...
分类：
其他好文 时间：
2019-07-23 00:06:10
阅读次数：
278
