回归不同于分类,回归是根据给定数据进行预测,例如销售量预测或者名人离婚率预测等。 1.线性回归 如果是一组二维数据,即标准的一组(x,y)数据集,使用标准线性回归就是找到一根直线能最好的拟合这组数据,使其误差最小,如下图所示: 如果给定数据是多维,线性回归意味着将输入项分别乘上一些常量,将结果相加, ...
分类:
其他好文 时间:
2019-05-24 12:57:47
阅读次数:
408
Beware! Async modes will not speed up your app, they are aimed at improving concurrency. Do not expect that enabling some of the modes will work flawl ...
分类:
Web程序 时间:
2019-05-09 10:42:17
阅读次数:
148
由于喜欢玩POE流放之路,所以用这个论坛试试自己的新技能 程序语句都做了注释说明,下面是步骤 1.建立项目 2.建立爬虫 3.编辑items.py 4.编辑poebd.py 5.编辑settings.py 6.运行爬虫 结果 2019-05-03 ...
分类:
其他好文 时间:
2019-05-03 22:43:20
阅读次数:
224
没有请求头headers时就会这样报错,例如: ...
分类:
其他好文 时间:
2019-05-02 11:47:33
阅读次数:
230
crawlSpider 爬虫 思路: 从response中提取满足某个条件的url地址,发送给引擎,同时能够指定callback函数。 1. 创建项目 2. 创建crawlSpider 爬虫 3. 启动爬虫 crawlSpider 的参数解析: 案例 需求:爬取csdn上面所有的博客专家及其文章的文 ...
分类:
其他好文 时间:
2019-04-15 15:59:37
阅读次数:
131
一.爬取斗鱼主播 1. 爬虫文件 2.item 3.pipeline 4.settings # -*- coding: utf-8 -*- # Scrapy settings for Douyu project # # For simplicity, this file contains only ...
分类:
其他好文 时间:
2019-03-13 15:05:39
阅读次数:
145
binarytree.h 头文件 binarytree.cpp文件 cirqueue.h头文件 paint.h头文件 paint.cpp文件 widget.h widget.cpp文件 main.cpp ...
分类:
其他好文 时间:
2019-03-02 10:58:41
阅读次数:
112
1.基于终端的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表或字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作. 2.基于管道的持久化存储 scrapy框架中已经为我们专门集成好了高效,便捷,的持久化操作功能,我们直接使用即可.要想使用scrap ...
分类:
其他好文 时间:
2019-03-01 21:07:28
阅读次数:
200
一、环境搭建 我们以log4j为例,探寻slf4j与log4j的绑定过程。 1.Java类 2.log4j.properties文件 来自https://docs.oracle.com/cd/E29578_01/webhelp/cas_webcrawler/src/cwcg_config_log4j ...
分类:
其他好文 时间:
2019-02-22 13:58:48
阅读次数:
225
0x00.skipfish简介 谷歌公司出品的开源web程序评估软件。 skipfish特点:CPU资源占用低,扫描速度快,每秒可以轻松处理2000个请求,误报率低。 1x00.skipfish使用 1x01 帮助信息 1x02 ? skipfish -o test [url] #test为保存结果 ...
分类:
Web程序 时间:
2019-02-20 21:24:25
阅读次数:
356