解决常见伪静态url去重

 1 #url形式为http:// 开头
 2 for i in ulist:
 3     line = i.split(‘/‘)[3:]
 4                 if len(line) > 0:
 5                     line.pop()  # 一次pop 比较 除倒数第一个参数外，其余参数是否相同，以 / 分割
 6                     key = set(line)
 7                     if key <= param1:
 8                         continue
 9                     else:
10                         param1 = param1.union(key)
11                         links.append(i)

if re.search(r"\d{4}\/\d{1,2}\/\d{1,2}|\d{4}-\d{1,2}-\d{1,2}", i):
    m = re.sub("\d{4}\/\d{1,2}\/\d{1,2}|\d{4}-\d{1,2}-\d{1,2}", ‘{int}‘, i)
    if m in line_date:
        continue
    else:
        line_date.append(m)

elif re.match(r‘\d+‘, i):  # 默认url中数字出现次数相同的，去重
    n = re.findall(r‘\d+‘, i)
    if len(n) in params:
        continue
    else:
        params.append(len(n))