1 import scrapy 2 import re 3 from fake_useragent import UserAgent 4 5 6 class DoubanSpider(scrapy.Spider): 7 name = "douban" 8 start_urls = ['https:/ ...
分类：
Web程序 时间：
2021-01-28 11:53:08
阅读次数：
0
Markdown 二级标题 三款标题 四级标题 字体 Hello,World! Hello,World! Hello,World! Hello,World! 引用 念念不忘，必有回响。 分割线 图片 超链接 点击跳转到Yu_Mo的博客 列表 A B C A B C 表格 名字性别生日 张三 男 19 ...
分类：
其他好文 时间：
2021-01-27 13:34:23
阅读次数：
0
SSL/TLS协议信息泄露漏洞(CVE-2016-2183) TLS是安全传输层协议，用于在两个通信应用程序之间提供保密性和数据完整性。 TLS, SSH, IPSec协商及其他产品中使用的DES及Triple DES密码存在大约四十亿块的生日界，这可使远程攻击者通过Sweet32攻击，获取纯文本数 ...
分类：
其他好文 时间：
2021-01-27 12:51:30
阅读次数：
0
主要是一个简单的demo测试 1.首先找到一个html查看源码如图 如果是这样的一段代码，我们的目标是获取a标签中的href内容，和文本内容，以及<span></span>标签中的日期，和p标签中的数据 2.开始做准备 （1）加入相关工具包 <!-- html解析jar --> <dependenc ...
分类：
编程语言 时间：
2021-01-22 12:05:17
阅读次数：
0
urllib是Python中请求url连接的官方标准库，在Python3中将Python2中的urllib和urllib2整合成了urllib。urllib中一共有四个模块，分别如下： request：主要负责构造和发起网络请求,定义了适用于在各种复杂情况下打开 URL (主要为 HTTP) 的函数 ...
分类：
Web程序 时间：
2021-01-15 11:56:28
阅读次数：
0
middlewares.py class MiddlewareDownloaderMiddleware: @classmethod def from_crawler(cls, crawler): # This method is used by Scrapy to create your spide ...
分类：
编程语言 时间：
2021-01-14 11:23:09
阅读次数：
0
自动化测试工具，可以驱动浏览器执行特定的动作，如点击，下拉等。支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。 1.准备工作 使用之前需安装好谷歌浏览器以及ChromeDriver，以及python的第三方库Selenium 2.基本使用 broser = webdriver bro ...
分类：
其他好文 时间：
2021-01-14 10:44:57
阅读次数：
0
from selenium import webdriveroptions = webdriver.ChromeOptions()# 设置为开发者模式，防止被各大网站识别出来使用了Selenium# 屏蔽 windows.navigator.webdriveroptions.add_experime ...
分类：
其他好文 时间：
2021-01-13 11:25:44
阅读次数：
0
获取豆瓣https://movie.douban.com/top250的，第一页前25个电影名字 我的答案： import requests from bs4 import BeautifulSoup head={"user-agent": "Mozilla/5.0 (Windows NT 10.0 ...
分类：
编程语言 时间：
2021-01-11 11:30:43
阅读次数：
0
实战2：使用selenium爬取淘宝数据，保存在mongodb 配置文件 MONGO_URL = 'localhost' MONGO_DB = 'taobao' MONGO_TABLE = 'yintiao' 爬虫文件 from selenium import webdriver from sele ...
分类：
数据库 时间：
2021-01-11 10:47:01
阅读次数：
0
