服务器端通过校验请求头或者请求正文中特定的信息,用以区分正常用户和爬虫程序 1.User-Agent反爬虫 这是一种较为初级的判断方法,以下简称ua: User-Agent就是请求头域之一,服务器能够从 User-Agent对应的值中识别客户端使用的操作系统CPU类型、浏览器、浏览器引擎、操作系统语 ...
分类:
其他好文 时间:
2020-03-24 01:06:21
阅读次数:
78
一、背景 利用Requests模块获取有道词典web页面的post信息,BeautifulSoup来获取需要的内容,通过tkinter模块生成gui界面。 二、代码 git源码地址 fanyi.py代码如下: #!/bin/env python # -*- coding:utf-8 -*- # _a ...
分类:
编程语言 时间:
2020-03-20 22:14:47
阅读次数:
92
一、常用三个快捷键:ctrl+X :清空所有记录Ctrl+F:查找F12:启动或者停止抓包 使用 QuickExecFiddler2 成了网页调试必备的工具,抓包看数据。Fiddler2自带命令行控制。fiddler 命令行快捷键:ctrl + q ,然后 输入 help 命令后会打开一个网页,就可 ...
分类:
其他好文 时间:
2020-03-19 23:17:03
阅读次数:
128
XCTF练习题 WEB xff_referer flag:cyberpeace{9626408a4b37eab65854d8ccd22f671c} 解题步骤: 1、观察题目,打开场景 2、注意题目要求,xff和referer。还有题目描述,xff和referer是可以伪造的,这里感觉要用到Burp了 ...
分类:
Web程序 时间:
2020-03-18 11:49:15
阅读次数:
124
1 import requests 2 kw = {'wd':"中国"} 3 headers = { 4 "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/ ...
分类:
其他好文 时间:
2020-03-16 21:38:01
阅读次数:
81
taobao 爬虫基本思路分享原创置顶 yellowhatgood 最后发布于2016-08-17 17:39:58 阅读数 7236 收藏展开 关于taobao 爬取 下面做一个分享,大家一起研究 1. taobao, tmall 店铺数据 在官网上我们可以通过 search 接口 (https: ...
分类:
其他好文 时间:
2020-03-15 22:23:46
阅读次数:
85
import json from time import sleep import requests url = "https://web-api.juejin.im/query" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Wi ...
分类:
编程语言 时间:
2020-03-14 15:03:48
阅读次数:
103
1.参看Less(46),闭合为单引号 2.爆破: (1)爆库:?sort=1' and(updatexml(1,concat(0x7e,(select database())),0)) --+ (2)爆表:?sort=1' and(updatexml(1,concat(0x7e,(select g ...
分类:
其他好文 时间:
2020-03-14 15:02:45
阅读次数:
48
1,文件句柄 在linux/unix操作系统中一切皆文件,我们的设备是文件,文件是文件,文件夹也是文件。当我们用户每发起一次请求,就会产生一个文件句柄。文件句柄可以简单的理解为文件句柄就是一个索引。文件句柄就会随着请求量的增多,进程调用频繁增加,那么产生的文件句柄也就会越多。 系统默认对文件句柄是有 ...
分类:
其他好文 时间:
2020-03-14 13:16:14
阅读次数:
53
1.看一下php (1)用order by 注入来看看 (2)通过asc 和desc查看返回数据是否相同来简单判断是否存在order by注入 ?sort=1+asc ?sort=1+desc 2.报错注入 (1)爆库:?sort=1 and(updatexml(1,concat(0x7e,(sel ...
分类:
其他好文 时间:
2020-03-14 13:09:13
阅读次数:
59