当天完成的任务： （1）提交gitlab代码 （2）协助组员完成detail评论页面数据的获取。 （3）进行豆瓣网中评论的网络爬虫。 第二天的计划： （1）与组员完成comment页面的评论数据以及页面的完成。 （2）继续从豆瓣网进行网络爬虫的评论数据连接。 个人小结： 今天我和组员进行了detai ...
分类：
其他好文 时间：
2019-08-31 21:41:48
阅读次数：
86
需求：爬取搜狗首页的页面数据 requests模块如何处理携带参数的get请求，返回携带参数的请求 需求:指定一个词条，获取搜狗搜索结果所对应的页面数据 之前urllib模块处理url上参数有中文的需要处理编码，requests会自动处理url编码 发起带参数的get请求 params可以是传字典或 ...
分类：
编程语言 时间：
2019-08-19 19:17:56
阅读次数：
121
1 <!-- 2 sessionStorage的使用：存储数据到本地。存储的容量5mb左右 3 1.这个数据本质是储存在当前页面的内存中 4 2.他的生命周期为关闭当前页面，关闭页面，数据会自动清楚 5 6 setTtem(key,value):存储数据，以键值对的方式储存 7 getItem(ke... ...
分类：
其他好文 时间：
2019-08-18 20:01:08
阅读次数：
103
硬盘存储 (1) 基于终端指令 * 保证parse方法返回一个可迭代类型的对象(存储解析到页面内容) * 使用终端指定完成数据存储到磁盘文件的操作 scrapy crawl 爬虫文件名称 -o 磁盘文件.后缀 (2) 基于管道 * items: 存储解析到的页面数据 * piplines： 处理持久 ...
分类：
其他好文 时间：
2019-08-15 10:53:08
阅读次数：
91
一，场景回顾 ? 最近做电商购物项目，在分布式中搜索服务，商品详情服务都是独立的模块。那么有一个问题就是： 商品的原始数据保存在数据库中，增删改查都在数据库中完成。 搜索服务数据来源是索引库，如果数据库商品发生变化，索引库数据不能及时更新。 商品详情做了页面静态化，静态页面数据也不会随着数据库商品发 ...
分类：
编程语言 时间：
2019-08-08 20:58:55
阅读次数：
103
Vue. 之 刷新当前页面，重载页面数据 如下截图，点击左侧不同的数据，右侧根据左侧的KEY动态加载数据。由于右侧是同一个页面，在进行路由跳转后，不会再次刷新数据。 解决方案: 右侧的页面中 script代码块添加：watch模块，如下代码： ...
分类：
其他好文 时间：
2019-08-05 13:37:52
阅读次数：
137
场景：某供应商模块，有新增、编辑操作，对数据进行更改后，关闭新增或编辑页面，原页面数据刷新 思路：1、如果能在供应商页面监听到新增或编辑页面的tab页关闭,那么在供应商页面通过事件监听后执行:window.location.reload()即可。 百度许久无果，故放弃。 2、在新增或编辑操作完成时， ...
分类：
其他好文 时间：
2019-07-16 16:42:25
阅读次数：
935
在 Flutter 中自定义组件其实就是一个类，这个类需要继承 StatelessWidget/StatefulWidget。 StatelessWidget 是无状态组件，状态不可变的 widget StatefulWidget 是有状态组件，持有的状态可能在 widget 生命周期改变。通俗的讲 ...
分类：
其他好文 时间：
2019-07-15 01:16:21
阅读次数：
151
原生form实现 forms组件实现 modelform组件实现 用原生form实现页面数据增删改查 前端代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>书籍列表</title> </head> <bo ...
分类：
其他好文 时间：
2019-07-12 12:57:26
阅读次数：
84
对于一般的页面数据我们用querylist可以很容易的抓取页面然后分析其中的dom树，抓取自己需要的数据，存储到数据库，但是有时候会遇到想要抓取的数据通过JavaScript渲染的，这个时候 Puppeteer 插件就派上用场了，参考https://querylist.cc/docs/guide/v ...
分类：
Web程序 时间：
2019-07-10 10:39:47
阅读次数：
311
