from selenium import webdriverdriver = webdriver.Firefox()driver.get("http://www.youdao.com")#获得cookie信息：cookie = driver.get_cookies()# print(cookie)# ...
分类：
其他好文 时间：
2020-01-19 00:31:30
阅读次数：
100
可以在SpringMVC等环境中使用的操作Cookie的工具类 package utils; import java.io.UnsupportedEncodingException; import java.net.URLDecoder; import java.net.URLEncoder; im ...
分类：
其他好文 时间：
2020-01-18 21:04:15
阅读次数：
82
在浏览器（Chrome、Firefox等）上安装插件cookies 然后进入该网页，导出cookies.txt 使用命令下载： wget -c --load-cookies=cookies.txt "下载地址" 别忘了双引号 ...
分类：
其他好文 时间：
2020-01-18 16:29:06
阅读次数：
65
cookie是什么 cookie的英文意思是饼干。在计算机术语中指服务端存放在客户端的一段数据。这段数据在客户端每次进行http请求时会自动加在http请求报文中的header上；服务端在响应时，可以对cookie进行设置，并将cookie加入到http响应报文header中。MDN中对cookie ...
分类：
其他好文 时间：
2020-01-18 14:41:02
阅读次数：
99
为什么要使用css预编译 1、css无法递归式定义2、解决复用性不够3、可以缓解浏览器兼容造成的冗余 cookie,sessionStorage和localStorage的区别 cookie用来在浏览器和服务器中传递并且总量很小sessionStorage和localStorage用于存储本地数据， ...
分类：
其他好文 时间：
2020-01-18 12:38:37
阅读次数：
73
四种都是存储数据的方式。 1. localStorage 1. 本地存储 2. 存储容量5M 3. 存储周期：一直存在 4. 不能跨域 2. sessionStorage 1. 本地存储 2. 存储容量5M（各浏览器不同） 3. 存储周期： 页面打开期间；页面关闭，数据消失 4. 不能跨域 3. c ...
分类：
其他好文 时间：
2020-01-18 10:55:35
阅读次数：
113
1.增加并发： 默认scrapy开启的并发线程为32个，可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。 2.降低日志级别： 在运行scrapy时，会有大量日志信息的输出，为了减少CPU的使用率。可以设置log输出 ...
分类：
其他好文 时间：
2020-01-18 01:01:04
阅读次数：
82
1. 为什么需要模拟登陆？ #获取cookie，能够爬取登陆后的页面 2. 回顾： requests是如何模拟登陆的？ #1、直接携带cookies请求页面 #2、找接口发送post请求存储cookie 3. selenium是如何模拟登陆的？ #找到对应的input标签，输入文字点击登录 4. 那 ...
分类：
其他好文 时间：
2020-01-18 00:57:11
阅读次数：
87
会话技术 1. 会话：一次会话中包含多次请求和响应。 一次会话：浏览器第一次给服务器资源发送请求，会话建立，直到有一方断开为止 2. 功能：在一次会话的范围内的多次请求间，共享数据 3. 方式： 1. 客户端会话技术：Cookie 2. 服务器端会话技术：Session Cookie： 1. 概念： ...
分类：
其他好文 时间：
2020-01-17 20:41:43
阅读次数：
60
session是服务器端存储数据的方式。避免了存在客户端被用户修改数据的情况。它以cookie为基础。 1. session用法 session的使用需要以下条件： 1. 需要存储用户和对应信息的映射（可以存储在内存中或者数据库中redis/mongo） 2. 需要一个sessionId来表示当前服 ...
分类：
其他好文 时间：
2020-01-17 20:40:51
阅读次数：
64
