# 此为获取东航登录时的token（经分析js得出此token存储于localstorage中） browser = webdriver.Chrome(executable_path='xxxx')browser.get('https://passport.ceair.com/?redirectUr ...
分类：
编程语言 时间：
2020-07-18 22:36:19
阅读次数：
166
Python爬虫部分由结对的郑磊完成。 前端利用改自eChart的工具类，用它提供的方法绘制热词云图。由于该工具类本身接收JSON进行绘制，而我们出于简单采用Stack将封装的结果传至页面，故在页面上用Java脚本和JavaScript现场封装了一个JSON提供给绘图接口。利用给定的点击事件接口合成 ...
分类：
其他好文 时间：
2020-07-18 22:28:26
阅读次数：
71
Python爬虫学习使用urllib3抓点网页数据并查找匹配。 ...
分类：
编程语言 时间：
2020-07-18 19:54:57
阅读次数：
63
Python爬虫 # 开发思路 准备 - 分析网页内容-结合chrome开发者模式 爬取原始数据 HTTP库 提取/清洗数据 保存 # 引入包 urllib - 指定url 获取网页信息 bs4 - 解析网页 re - 正则表达式，文字匹配 xlwt - excel操作 sqlite3 - SQLi ...
分类：
编程语言 时间：
2020-07-18 15:31:42
阅读次数：
66
Python第三方库 jieba - 分词 matplotlib - 绘图 PIL - 图片处理 numpy - 矩阵运算 sqlite3 - sqlite数据库 Flask - web框架 urllib - URL处理，网页爬虫 bs4 - 解析文档-html re - 正则表达式，文字匹配 xl ...
分类：
编程语言 时间：
2020-07-18 15:31:09
阅读次数：
65
生产上有40多个微服务部署的应用，每个应用都会产生日志，随着时间的增长，日志量不断增大，现需要清理。有两个重要的应用日志需保留90天，其它应用保留20天。
分类：
其他好文 时间：
2020-07-18 13:45:08
阅读次数：
69
1冗余字段的定义 冗余字段是指反复出现的，重复的字段。也就是说在数据库中如果表a出现过字段b，表c再出现字段b，那么字段b就可以被看作是冗余字段了。 2冗余字段的弊端 如果参照三范式，那我们在设计数据库的时候就必须致力于消灭冗余字段，毕竟如果我们需要更新某条记录，而这条记录又恰好包含了冗余字段，那么 ...
分类：
数据库 时间：
2020-07-18 00:52:33
阅读次数：
101
在web sprider crawl过程中,许多网站都需要登录后才能访问，一般如果我们不用爬虫框架的前提下，常规用的就两个库 ，urllib库和requests库，本文将用最基础的urllib库，以模拟登录人人网为例，理清爬虫过程中登录访问和cookie的思绪。 1.终极方案，也是最简单粗暴最有效的 ...
分类：
编程语言 时间：
2020-07-18 00:32:56
阅读次数：
71
1、get方式：如何为爬虫添加ip代理，设置Request header（请求头） import urllib import urllib.request import urllib.parse import random import time from fake_useragent import ...
分类：
编程语言 时间：
2020-07-17 22:29:49
阅读次数：
192
基本语法： 代码实现： html = """ <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>bobby基本信息</title> <script src="//code.jquery.com/jquery-1 ...
分类：
Web程序 时间：
2020-07-17 16:08:57
阅读次数：
86
