import requests; import re; import os; import parsel; 1.请求网页 header = { "user-agent":'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537. ...
分类：
编程语言 时间：
2020-07-29 21:38:42
阅读次数：
68
# coding=utf-8 # This script is uesd to modify Agent IP at the first time of machine started. import requests import json import time import os import ...
分类：
其他好文 时间：
2020-07-29 17:54:47
阅读次数：
80
1、什么是信息头？请求头 2、什么时候用？Cookie token 3、我们的场景设计？反爬虫添加信息头 模拟浏览器发送请求 user--agent 4、范围：分为全局和局部的吗？有全局和局部之分 (1)http信息头管理器如果放在某个http请求下，则只对该http请求生效 (2)http信息头管 ...
分类：
Web程序 时间：
2020-07-29 17:31:45
阅读次数：
106
以百度为例 GET /favicon.ico HTTP/1.1 Host: www.baidu.com Connection: keep-alive Pragma: no-cache Cache-Control: no-cache User-Agent: Mozilla/5.0 (Windows N ...
分类：
Web程序 时间：
2020-07-28 16:58:47
阅读次数：
177
import requests #UA伪装： #UA:User-Agent(请求载体的身份标识)检测: #门户网站的服务器会检测对应请求的身份载体标识，如果检测到请求的载体身份标识为某一款浏览器 #说明该请求是一个正常的请求，但是，如果检测到请求的载体身份标识不是某一款浏览器的，则表示该请求不是正常 ...
分类：
Web程序 时间：
2020-07-28 10:17:22
阅读次数：
79
#!/usr/bin/python import requests from lxml import etree #需求：爬取58二手房中的房源信息 if __name__ == "__main__": headers = { 'User-Agent':'Mozilla/5.0 (Windows N ...
分类：
其他好文 时间：
2020-07-28 10:12:45
阅读次数：
79
#!/usr/bin/python import requests from lxml import etree #项目需求：解析出所有的城市名称https://www.aqistudy.cn/historydata/ if __name__ == "__main__": # headers = { ...
分类：
其他好文 时间：
2020-07-28 10:10:33
阅读次数：
61
#编码流程： #1.验证码的识别，获取验证码图片的文字数据 #2.对post请求进行发送（处理请求函数） #3.对响应函数进行持久化存储 import requests from lxml import etree from CodeClass import YDMHttp #1.对验证码图片进行捕 ...
分类：
其他好文 时间：
2020-07-28 10:08:07
阅读次数：
164
import requests from lxml import etree import re from multiprocessing.dummy import Pool #需求：爬取梨视频的视频数据 headers = { 'User-Agent':'Mozilla/5.0 (Windows ...
分类：
编程语言 时间：
2020-07-28 10:02:06
阅读次数：
77
1 Flume 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 2 Flume 组成架构 Flume 组成架构如图 1-1，图 1-2 所示： 2.1 Agent Agent 是一个 JVM 进程，它 ...
分类：
Web程序 时间：
2020-07-26 02:04:24
阅读次数：
109
