urllib是python内置的HTTP请求库包括以下模块 urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparser robots.txt解析模块 urlopen 关于urllib.request. ...
分类：
Web程序 时间：
2019-11-17 18:04:42
阅读次数：
96
问题 最近用 搭建了个 ，但是访问的时候需要端口加 才能进行访问。我们是直接将 Jenkins.war 包放在 下的。 我们想直接通过不加路径进行访问。 解决办法 思路一 在 里面进行配置 path ，经过测试，发现是不行的。 思路二(可用) 新建一个 jenkins 目录在 下 . 然后将 jen ...
分类：
其他好文 时间：
2019-11-10 19:12:08
阅读次数：
473
前置：https://www.cnblogs.com/luocodes/p/11827850.html 解决最后一个问题，如何将scrapy真正的打包成单文件 耗了一晚上时间，今天突然有灵感了 错误分析 不将scrapy.cfg文件与可执行文件放一起，那么就会报错 爬虫没有找到 报错的原因 1.sc ...
分类：
其他好文 时间：
2019-11-10 13:56:39
阅读次数：
102
Petrozavodsk Summer 2016. Warsaw U Contest, XVI Open Cup Onsite. Problem A. Gambling Problem B. Colourings Problem C. Counter manifestation Problem D. ...
分类：
其他好文 时间：
2019-11-09 23:58:10
阅读次数：
173
网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，robots默认都是放在网站根目录。刚建好的WordPress网站，打开robots.txt是能访问的，但是在网站目录却找不到任何robots.txt文件，其实默认的robots文件放在wp-includes/functions ...
分类：
其他好文 时间：
2019-10-19 15:10:57
阅读次数：
250
X老师上课讲了Robots协议，小宁同学却上课打了瞌睡，赶紧来教教小宁Robots协议是什么吧。 想解出这道题目首先得学习一下什么是robots协议。。。 什么是robots协议：robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜 ...
分类：
Web程序 时间：
2019-10-09 23:57:06
阅读次数：
567
国庆就要莫得了 起床刷几道 NewsCenter mfw Training-WWW-Robots NaNNaNNaNNaN-Batman bug NewsCenter search传参那里发现有注入 注入出flag即可 没太大转弯 mfw 发现git泄露 下载下来看源码 index.php中关键源码 ...
分类：
Web程序 时间：
2019-10-07 12:52:37
阅读次数：
206
<html> <head> <meta charset="utf-8"> <meta name="robots" content="index,all,follow"> <title></title> </head> <body> </body> </html> SEO 1. charset="XX ...
分类：
Web程序 时间：
2019-10-06 22:06:31
阅读次数：
113
目录扫描:扫描站点的目录，寻找敏感文件（目录名，探针文件，后台，robots.txt，备份文件）； 目录： 备份文件：数据备份、网站备份文件等.bak .zap www.rar 御剑后台扫描工具： Dirbuster Nmap最早是Linux中扫描和嗅探工具，网络连接工具，主要探测主机存活（是否开机 ...
分类：
其他好文 时间：
2019-09-27 22:41:36
阅读次数：
305
来自攻防世界 robots [原理] robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所 ...
分类：
其他好文 时间：
2019-09-26 23:28:14
阅读次数：
114
