在爬虫文件中 1.将解析到的页面数据存储至items对象中 2.使用yield关键字将items提交给管道文件进行处理 在items中 3.在管道文件中编写代码完成数据存储 在pipelines文件中 并在setting文件中设置 4.在终端执行操作 scrapy crawl f1 --nolog ...
分类：
其他好文 时间：
2019-05-23 00:09:14
阅读次数：
110
AspNetCore MVC使用数据注释配合jquery.validate提交页面进行前端加后端的数据验证 ...
分类：
Web程序 时间：
2019-05-15 00:30:41
阅读次数：
147
今天在优化项目当中，有个要在下拉框中搜索数据的需求；最后选择使用selec2进行开发： 官网：http://select2.github.io/ 演示： 准备工作： 文件需要引入select2.full.js、select2.min.css（4.0.1版本）和jquery.1.8.3及以上 注意：最 ...
分类：
Web程序 时间：
2019-05-10 16:37:14
阅读次数：
687
[TOC] scrapy框架之递归解析和post请求 递归爬取解析多页页面数据 需求：将糗事百科所有页码的作者和段子内容数据进行爬取切持久化存储 需求分析：每一个页面对应一个url，则scrapy工程需要对每一个页码对应的url依次发起请求，然后通过对应的解析方法进行作者和段子内容的解析。 实现方案 ...
分类：
其他好文 时间：
2019-05-04 18:39:21
阅读次数：
97
为什么要使用缓存？ 一个动态网站的基本权衡点就是，它是动态的。 每次用户请求页面，服务器会重新计算。从开销处理的角度来看，这比你读取一个现成的标准文件的代价要昂贵的多 使用缓存，将多用户访问时基本相同的数据先缓存起来；这样当用户访问页面的时候，不需要重新计算数据，而是直接从缓存里读取，避免性能上的开 ...
分类：
其他好文 时间：
2019-04-19 19:47:02
阅读次数：
137
dstat常用的选项有： -c 显示cpu使用情况 -d 显示磁盘使用情况 -g, 显示页面数据 -i 启用中断数据 -l 平均负载统计（1分钟，5分钟，15分钟） -m 显示内存使用信息 -n 显示网络信息 -p enable process stats (runnable,uninterrupt ...
分类：
其他好文 时间：
2019-04-18 15:06:48
阅读次数：
153
[TOC] 03.requests模块(1) Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。 警告：非专业使用其他 HTTP 库会导致危险的副作用，包括：安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。 今日概要: 基于requests ...
分类：
其他好文 时间：
2019-04-07 22:03:40
阅读次数：
247
[TOC] 02. 爬取get请求的页面数据 一.urllib库 urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib和urll ...
分类：
其他好文 时间：
2019-04-07 22:02:23
阅读次数：
196
一、request模块介绍 1. 什么是request模块 2. 为什么使用request模块 3. request如何被使用 3.通过5个基于request模块的爬虫项目对该模块进行系统学习和巩固 二、项目实战 3. 基于request模块发起一个get请求 需求：爬取搜狗首页的页面数据 ...
分类：
其他好文 时间：
2019-04-03 10:51:02
阅读次数：
167
功能测试 1.运行 1）App安装完成后的试运行，可正常打开软件。 2）App打开测试，是否有加载状态进度提示。 3）App页面间的切换是否流畅，逻辑是否正确。 2.注册 1）同表单编辑页面 2）用户名密码长度 3）注册后的提示页面 4）前台注册页面和后台的管理页面数据是否一致 5）注册后，在后台管 ...
分类：
移动开发 时间：
2019-04-01 23:56:47
阅读次数：
286
