动态渲染页面爬取 JavaScript动态渲染 其中一种方式是Ajax请求，通过直接分析Ajax再用requests来实现数据爬取 另外一种方式是模拟浏览器运行 一、 Selenium库 Selenium是自动化测试工具，可以驱动浏览器执行特定动作(点击、下拉)，还可以获取浏览器当前呈现页面的源代码 ...
分类：
其他好文 时间：
2020-04-11 17:03:01
阅读次数：
89
JAVA--利用HttpClient模拟浏览器登陆请求获取响应的Cookie ...
分类：
编程语言 时间：
2020-03-27 16:52:54
阅读次数：
303
学习链接http://stu.ityxb.com/openCourses/detail/238 什么是爬虫： 网络爬虫就是模拟浏览器发送网络请求 接受请求响应 按照一定规则 自动抓取互联网信息的程序 爬虫的用途: 数据采集（百度新闻，今日头条）、12306抢票、网络自动投票、 调试工具： Fn+ F ...
分类：
其他好文 时间：
2020-03-22 19:48:47
阅读次数：
161
click()点击 send_keys()输入 clear()清除输入 1.maximize_window() 最大化浏览器窗口 --> 模拟浏览器最大化按钮 2. set_window_size(width, height) 设置浏览器窗口大小 --> 设置浏览器宽、高(像素点) 3. set_w ...
爬虫 什么是爬虫? 通过编写代码，模拟浏览器发送请求，让其去网络上抓去数据的过程。 爬虫分类？ 通用爬虫 抓取整张网页的全部内容 聚焦爬虫 抓去一张页面的部分内容 通用爬虫和聚焦爬虫的关联： 聚焦是建立在通用爬虫的基础上 增量式 监测网站数据的更新情况，以便将最新的数据进行爬取。 reqeusts基 ...
分类：
其他好文 时间：
2020-03-08 21:39:48
阅读次数：
55
[TOC] 介绍 基于GET请求 1.基本请求 2.带参数的GET请求 params 自己拼接GET参数: params参数的使用: 带参数的GET请求 headers 带参数的GET请求 cookie 基于POST请求 1.介绍 2.发送post请求，模拟浏览器的登录行为 对于登录来说，应该输错用 ...
分类：
其他好文 时间：
2020-02-26 01:21:43
阅读次数：
80
import requestsimport parselimport timeimport threading# 模拟浏览器headers = {"Referer": "https://maoyan.com/board/4?offset=0", "User-Agent": "Mozilla/5.0 ...
分类：
编程语言 时间：
2020-02-23 09:56:39
阅读次数：
70
1，背诵单词：slender修长的,细长的 drift漂,漂流(物) diameter 直径 submarine 潜水艇 cocaine可卡因 plate金属板,片;盘子 philosophy 哲学,哲理 destiny 命运 machinery(总称)机器,机械 entail 使承担;需要 twi ...
分类：
其他好文 时间：
2020-02-12 00:54:48
阅读次数：
81
通过Selenium模拟浏览器抓取淘宝商品美食信息，并存储到MongoDB数据库中。 from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdri ...
分类：
其他好文 时间：
2020-02-09 14:58:25
阅读次数：
144
经过几天的学习，今天终于完成了首都之窗的数据爬取，现在进行一下总结： 首都之窗的爬取我进行里两步： 一，使用selenium模拟浏览器翻页，爬取列表页上的信息，主要是各个详情页的url（详细说明请看上篇博客) spider.py 1 # -*- coding: utf-8 -*- 2 import ...
分类：
其他好文 时间：
2020-02-08 00:04:06
阅读次数：
66
