增量式爬虫 概念：监测网站数据更新的情况。 核心：去重！！！ 主要有两种情况： 深度爬取类型 深度爬取类型的网站中需要对详情页的url进行记录和检测 记录:将爬取过的详情页的url进行记录保存 url存储到redis的set中 检测：如果对某一个详情页的url发起请求之前先要取记录表中进行查看，该u ...
分类：
其他好文 时间：
2020-06-10 20:50:20
阅读次数：
75
爬取自己博客曾经发布过的所有标题 import csv import requests from bs4 import BeautifulSoup # https://www.cnblogs.com/hany-postq473111315/ # https://www.cnblogs.com/han ...
分类：
其他好文 时间：
2020-06-10 19:20:57
阅读次数：
55
这周学了一下Python爬取数据，是入门级别 这是一小部分练习代码 import time import json import requests import jsonpath from pyecharts.charts import Map import pyecharts.options as ...
分类：
其他好文 时间：
2020-06-10 19:20:39
阅读次数：
50
首次接触爬取数据，跟着网上的教程安装了pychram，学习了基本的爬取操作。 from os import path import requests from bs4 import BeautifulSoup import json import pymysql import numpy as np ...
分类：
其他好文 时间：
2020-06-10 17:38:55
阅读次数：
65
实验环境1.安装Python3.72.安装requests,bs4，pymysql模块实验步骤1.安装环境及模块可参考博客https://blog.51cto.com/13760351/25000482.编写代码#51cto博客页面数据插入mysql数据库#导入模块importreimportbs4importpymysqlimportrequests#连接数据库账号密码db=pymysql.co
分类：
数据库 时间：
2020-06-09 18:57:49
阅读次数：
76
异步爬虫 异步的由来 在我们爬取网站时，通常会有阻塞操作，比如：请求页面，IO等， 如果说爬取的网站数量不是很多，对于阻塞的时间就不会有太大的感官性，那如果数量成百上千，甚至上万呢？ 所以需要一种方法来解决阻塞的问题，也就是采用异步的方式 异步的实现方式： 方式1：多线程、多进程（） 优点： 缺点： ...
分类：
其他好文 时间：
2020-06-09 18:44:02
阅读次数：
87
分布式爬虫介绍 什么是分布式爬虫？ 分布式爬虫是将多台电脑构建成一个机群，然后将爬虫程序部署在机群内的每台电脑上进行执行爬取任务，最终将所有的数据进行 分布式爬虫的作用 提高爬取效率 分布式爬虫的简单实现 由于原生scrapy的五大组件的不能实现共享，数据无法整合，所以必须通过scrapy和scra ...
分类：
其他好文 时间：
2020-06-09 18:25:37
阅读次数：
75
基于单线程+多任务异步协程实现异步爬取 使用asyncio加上aiohttp 协程对象 协程：对象，可以把协程当做是一个特殊的函数，如果一个函数的定义被async关键字所修饰，该特殊的函数被调用后函数内部的程序语句不会被立即执行，而是会返回一个协程对象。 from time import sleep ...
分类：
编程语言 时间：
2020-06-09 13:04:36
阅读次数：
61
基于线程池实现异步爬取dummy 使用multiprocessing.dummy中的Pool池 # 先构建要访问url的列表 import requests url = 'https://www.qiushibaike.com/text/page/%d/' urls = [] for page in ...
分类：
编程语言 时间：
2020-06-09 12:57:31
阅读次数：
61
requests模块和urllib模块爬取图片 requests模块 import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, lik ...
分类：
Web程序 时间：
2020-06-09 12:50:32
阅读次数：
65
