一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Schedul ...
分类：
其他好文 时间：
2021-02-02 11:24:43
阅读次数：
0
` 创建普通的maven项目 准备打包为jar 调用 <groupId>ws.schild</groupId> <artifactId>jave</artifactId> <version>1.0-SNAPSHOT</version> <packaging>jar</packaging> <depe ...
分类：
编程语言 时间：
2021-01-12 10:41:52
阅读次数：
0
一 同源策略 同源策略（Same origin policy）是一种约定，它是浏览器最核心也最基本的安全功能 如果缺少了同源策略，则浏览器的正常功能可能都会受到影响。可以说Web是构建在同源策略基础之上的，浏览器只是针对同源策略的一种实现 请求的url地址,必须与浏览器上的url地址处于同域上,也就 ...
分类：
其他好文 时间：
2021-01-12 10:39:26
阅读次数：
0
海康RTSP取流URL地址规则 1.1 预览取流 设备预览取流的RTSP URL有新老版本，2012年之前的设备（比如V2.0版本的Netra设备）支持老的取流格式，之后的设备新老取流格式都支持（这里不得不再说一下海康是国内视频硬件独一档）。 【海康老版本，目前已经非常少见了】 URL规定： rts ...
分类：
其他好文 时间：
2021-01-08 10:54:46
阅读次数：
0
#导入requests库 #第一次需要安装：pip install requests import requests #测试天气预报接口，发送Get请求，查看返回的JSON结果 #提供请求的URL地址 url = 'http://apis.juhe.cn/simpleWeather/query' # ...
分类：
其他好文 时间：
2020-12-25 11:43:04
阅读次数：
0
接口调用方式 原生ajax 基于jQuery的ajax fetch axios URL地址格式 格式：schema://host:port/path?query#fragment schema:协议。例如HTTP，https，ftp等 hsot：域名或者I地址 port：端口，http默认端口80， ...
分类：
其他好文 时间：
2020-12-24 11:46:30
阅读次数：
0
打开第三方程序 打开第三方程序需要使用runtime模块 调用外部浏览器打开指定的URL plus.runtime.openURL( url, errorCB, identity ); /** url: ( String ) 必选 要打开的URL地址：字符串类型，各平台支持的地址类型存在差异，参考平 ...
分类：
移动开发 时间：
2020-12-19 12:12:55
阅读次数：
2
//获取当前的域名:echo$_SERVER[‘SERVER_NAME‘];//获取来源网址,即点击来到本页的上页网址echo$_SERVER["HTTP_REFERER"];$_SERVER[‘REQUEST_URI‘];//获取当前域名的后缀$_SERVER[‘HTTP_HOST‘];//获取当前域名dirname(FILE)
分类：
Web程序 时间：
2020-12-09 12:00:59
阅读次数：
8
权限系统 1. 什么是权限 说到权限管理，首先要了解，在网站中权限到底是什么？ 在网站中，用户通过URL地址，进入网站的后端逻辑，从而对网站的数据库进行操作管理。如果想要让拥有操作管理权限的用户来完成，而没有权限的用户无法操作. 2. ACL权限模型 规定资源可以被哪些主体进行哪些操作 场景：管理系 ...
分类：
其他好文 时间：
2020-11-13 13:02:14
阅读次数：
6
原文链接：https://www.cnblogs.com/tutuj/p/11025042.html 很多时候被问到从输入url地址之后，会发生什么？很多时候回答都很笼统，没有自己的核心，所以学习一下大神的思路，以下总结的只是骨干，只有将每一个部分都学习到，这样才是一个知识体系，才能很好的理解上下结 ...
分类：
编程语言 时间：
2020-10-29 09:51:46
阅读次数：
19
