import asyncio from pyppeteer import launch from pyquery import PyQuery as pq async def main(): browser = await launch() page = await browser.newPage( ...
分类：
系统相关 时间：
2020-07-11 11:14:06
阅读次数：
130
爬虫固定套路 1.提取数据(1.找到需要爬取的url,通过http请求获取html页面) 2.解析数据(1.数据筛选,2.数据过滤,3.获取有效数据) 最难搞的就是这一步,因为你要去分析解析人家前端页面Html的格式,这里也就是爬虫功放战的主要战场 3.数据入库 一、提取数据 1.找到需要爬取页面的 ...
分类：
其他好文 时间：
2020-06-22 13:04:10
阅读次数：
56
前几天用JSOUP写爬虫Demo时，遇到这个异常 百度了一番原来是因为目标站点启用了HTTPS 而缺少安全证书时出现的异常，大概解决办法有2种： 1. 手动导入安全证书(嫌麻烦 没使用); 2. 忽略证书验证。 相对于来说简单一点，在发起请求前调用这个方法，问题解决。 // 包不要导错了 impor ...
分类：
其他好文 时间：
2020-04-12 16:47:40
阅读次数：
84
爬取新浪网导航页所有下所有大类、小类、小类里的子链接，以及子链接页面的新闻内容。 效果演示图： items.py import scrapy import sys reload(sys) sys.setdefaultencoding("utf-8") class SinaItem(scrapy.It ...
分类：
其他好文 时间：
2019-12-11 21:49:07
阅读次数：
79
[爬虫Demo] pyquery+csv爬取猫眼电影top100 [TOC] 站点分析 https://maoyan.com/board/4?offset=0 翻页操作只会改变offset偏移量，每部电影的信息都在dd标签内，使用pyquery库中的css选择器直接解析页面 代码君 css选择器直接 ...
分类：
其他好文 时间：
2019-08-22 13:30:32
阅读次数：
111
import json import time from urllib.parse import quote from urllib import request import requests """ 1.综合 2.视屏 3.资讯 4.小视屏 5.图片 6.用户 7.音乐 8.问答 9.微头条 1 ...
分类：
移动开发 时间：
2019-01-25 17:36:19
阅读次数：
830
demo截图： 本demo爬瓜子二手车北京区的数据 (注:需要略懂 node.js / mongodb 不懂也没关系 因为我也不懂啊~~~) 之所以选择爬瓜子二手车网站有两点： 一、网站无需登录，少做模拟登录； 二、数据连接没有加密，直接可以用； 网上很多node.js爬虫的栗子 但大多是一个页面的 ...
分类：
数据库 时间：
2017-01-26 23:20:58
阅读次数：
556
0-0 前言 最近和同事做爬虫，其中我主要遇到的问题是：同事在github上放了爬虫demo让我自己去下载，然后自己能搭好环境让整个项目跑起来去抓51job找工作数据。git上克隆一个项目下来，项目是通过maven管理各种插件jar包，我自己摸索搭环境跑起来。 （1）网页内容爬取用python2.7 ...
分类：
编程语言 时间：
2016-12-18 01:22:33
阅读次数：
294
