码迷,mamicode.com
首页 > 2019年09月30日 > 全部分享
爬虫——使用多进程爬取视频数据
以梨视频为例分析页面请求抓取网页数据。本次抓取梨视频生活分类页面下的部分视频数据,并保存到本地。 一、分析网页 打开抓取网页,查看网页代码结构,发现网页结构里面存放视频的地址并不是真正的视频地址。 进入视频详情页面查看后,可以在response中找到真正的视频地址。保存这个地址的并不是标签,而是一个 ...
分类:系统相关   时间:2019-09-30 22:05:45    阅读次数:119
Java 之 函数式接口
函数式接口 一、概念 函数式接口在 java 中是指:有且仅有一个抽象方法的接口。 函数式接口,即适用于函数式编程场景的接口。 而Java中的函数式编程体现就是Lambda,所以函数式接口就是可以适用于Lambda使用的接口。只有确保接口中有且仅有一个抽象方法,Java中的Lambda才能顺利地进行 ...
分类:编程语言   时间:2019-09-30 22:05:19    阅读次数:95
codeforces 1198E Rectangle Painting 2 最小点覆盖
题目传送门 题意: 有一个$n?n$的网格,网格中有一些矩形是黑的,其他点都是白的。 你每次可以花费$ min (h,w)$的代价把一个$h*w$的矩形区域变白。求把所有黑格变白的最小代价。 思路: 对于一列来说,如果我们要把这一列涂白,那必定会一涂到底,这样对结果只会有好处。行也是这样。 明白了这 ...
分类:其他好文   时间:2019-09-30 22:04:41    阅读次数:82
Exercise 39 - dictionary
output 2019-10-01 02:05:37 ...
分类:其他好文   时间:2019-09-30 22:04:24    阅读次数:67
关于react-router最新版本的使用
现在react router已经更新到了5.1.1版本,在一些使用方法上较之前有了很多改变,现做初步列举,以后会陆续更新。 关于引入react router和基本使用 旧版本中引入react router的方式先安装: 然后引入: 而现在需要安装react router dom包: 然后引入: 需要 ...
分类:其他好文   时间:2019-09-30 22:03:52    阅读次数:85
Eureka 系列(02)Eureka 一致性协议
Eureka 系列(02)Eureka 一致性协议 "Eureka" 是由 Netflix 基于 AP 模型的服务发现中间件,包括服务发现服务器和客户端的。相关文档推荐:一是 "Spring Cloud Eureka 官网" ,二是 "Eureka源码解析" 。 本系列源码分析基于 spring c ...
分类:其他好文   时间:2019-09-30 22:03:31    阅读次数:305
常见sql注入的类型
这里只讲解sql注入漏洞的基本类型,代码分析将放在另外一篇帖子讲解 目录 最基础的注入-union注入攻击 Boolean注入攻击-布尔盲注 报错注入攻击 时间注入攻击-时间盲注 堆叠查询注入攻击 二次注入攻击 宽字节注入攻击 base64注入攻击 cookie注入攻击-http请求头参数注入 XF ...
分类:数据库   时间:2019-09-30 22:03:02    阅读次数:251
scrapy框架自定制命令
写好自己的爬虫项目之后,可以自己定制爬虫运行的命令。 一、单爬虫 在项目的根目录下新建一个py文件,如命名为start.py,写入如下代码: 运行start.py即可。 二、多爬虫运行 1、在spiders的同级目录创建文件夹,如commands; 2、在这个新建的文件夹下创建一个py文件,如命名为 ...
分类:其他好文   时间:2019-09-30 22:02:29    阅读次数:131
如何提高scrapy的爬取效率
增加并发: 默认scrapy开启的并发线程为32个,可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。 降低日志级别: 在运行scrapy时,会有大量日志信息的输出,为了减少CPU的使用率。可以设置log输出信息为I... ...
分类:其他好文   时间:2019-09-30 22:01:56    阅读次数:90
2019.9.26 csp-s模拟测试52 反思总结
刚刚写了一个小时的博客没了,浏览器自动刷新。 一!个!小!时! 鼠标键盘电脑哪个都不能摔,气死我了。 垃圾选手T1T2没思路,T3倒是想出来得比较早,靠T3撑着分数。 数据结构学傻选手,属实垃圾。 T1平均数: 一个序列的所有数如果减去x,那么平均数也会减去x。可以二分这个x,统计序列里平均数小于0 ...
分类:其他好文   时间:2019-09-30 22:01:21    阅读次数:95
Python time和datetime
time模块 时间间隔是以秒为单位的浮点小数。 每个时间戳都以自从1970年1月1日午夜(历元)经过了多长时间来表示。 Python 的 time 模块下有很多函数可以转换常见日期格式。如函数time.time()用于获取当前时间戳, 如下实例: 时间元组(struct_time元组) 属性 获取当 ...
分类:编程语言   时间:2019-09-30 22:00:51    阅读次数:99
棋盘游戏
https://loj.ac/problem/10029 题目描述 在一个4×4的棋盘上有 8个黑棋和8个白棋,当且仅当两个格子有公共边,这两个格子上的棋是相邻的。移动棋子的规则是交换相邻两个棋子。给出一个初始棋盘和一个最终棋盘,请找出一个最短的移动序列使初始棋盘变为最终棋盘,输出最短序列的长度。 ...
分类:其他好文   时间:2019-09-30 22:00:33    阅读次数:109
java命令行工具打包
https://introcs.cs.princeton.edu/java/85application/jar/jar.html ...
分类:编程语言   时间:2019-09-30 21:59:57    阅读次数:86
数据库系统原理(第6章:数据库安全与保护)
所谓事务是用户定义的一个数据操作序列,这些操作可作为一个完整的工 作单元,要么全部执行,要么全部不执行,是一个不可分割的工作单位。 事务中的操作一般是对数据的更新操作,包括增、删、改。 ...
分类:数据库   时间:2019-09-30 21:59:43    阅读次数:128
lightoj 1408 概率dp
https://blog.csdn.net/moon_sky1999/article/details/98097470 博主在此,牛逼神犇 题意:一个人在击球,有p的概率集中,有(1-p)的概率击不中。如果能够连续击中x次将停止,连续不集中y次也将停止。问最终停止击球时击球次数的期望。思路:设f[i ...
分类:其他好文   时间:2019-09-30 21:59:14    阅读次数:90
14 (H5*) JS第4天
目录 复习 内容 注意 ...
分类:Web程序   时间:2019-09-30 21:58:56    阅读次数:78
Cable TV Network
"POJ" "洛咕 UVA" "洛咕 SP(输入格式稍微不同)" 题意:给定一张无向图,$n$个点$m$条边,求最少去掉多少个点,可以使图不连通.$n include include include include include include include define ll long lon ...
分类:Web程序   时间:2019-09-30 21:58:35    阅读次数:162
1020条   上一页 1 ... 5 6 7 8 9 10 11 ... 60 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!