思路： 1.传入url 2.访问该网站，获取网站内容，使用try-except的方式 3.使用正则获取该页面的所有url地址 4.过滤url，获取到真正的url，过滤掉图片，css，js， # 之类的 5.保存到列表里 代码如下： 1 import re 2 import requests 3 4 ...
分类：
Web程序 时间：
2020-05-23 11:22:36
阅读次数：
141
索引 mongodb mysql redis的区别和使用场景 爬虫数据去重 实现增量式爬虫 使用数据库建立关键字段（一个或多个）建立索引进行去重 根据url地址进行去重 使用场景 url地址对应的数据不会变的情况下，url地址能够唯一判别一个条数据的情况 思路 url存在redis中 拿到url地址 ...
分类：
数据库 时间：
2019-02-19 13:31:11
阅读次数：
191
下面直接开始操作实验过程。SW1和SW2上面只需要关闭路由功能就行。下面是在ASA防火墙上的操作，启动ASA的startup-config配置文件。然后配置ASA防火墙的IP地址，设置相应的区域，并且做了一个NAT地址转换。此时配置完成就可以互相连通了。下面来检查客户机的IP地址配置，本地连..
分类：
Web程序 时间：
2015-07-06 12:33:09
阅读次数：
187
