码迷,mamicode.com
首页 > 2019年03月06日 > 全部分享
17,基于scrapy-redis两种形式的分布式爬虫
redis分布式部署 1.scrapy框架是否可以自己实现分布式? - 不可以。原因有二。 其一:因为多台机器上部署的scrapy会各自拥有各自的调度器,这样就使得多台机器无法分配start_urls列表中的url。(多台机器无法共享同一个调度器) 其二:多台机器爬取到的数据无法通过同一个管道对数据 ...
分类:其他好文   时间:2019-03-06 20:42:10    阅读次数:194
题解-UOJ 455雪灾与外卖
Problem "$\mathrm{UOJ~455}$" 题意概要:一根数轴上有 $n$ 只老鼠与 $m$ 个洞,每个洞有费用与容量限制,要求每只老鼠要进一个洞且每个洞的老鼠不超过自身的容量限制,定义一种方案的费用为所有老鼠移动距离之和加上所有老鼠进的洞费用之和(若一个洞进了 $k$ 只老鼠,则费用 ...
分类:其他好文   时间:2019-03-06 20:41:54    阅读次数:218
strace如何获得系统调用相关信息
一、问题的引出 对于很多的Linux下程序,我们有时候并不像详细的知道它执行的每一条指令或者,或者我们不想(或者不能)进行源代码级的调试,而只实现想大致看一下某个程序它执行了哪些核心的API调用,从而判断出程序执行的关键路径。此时使用strace是一个不错的选择,它可以不间断的执行完一个子程序,从而 ...
分类:其他好文   时间:2019-03-06 20:41:37    阅读次数:226
多表操作
一、Django多表ORM设计规则 二、一对多关系 规则: ① 增 ② 删 ③ 改 三、一对一关系 规则: ① 增、删、改 四、多对多关系 规则: ① 增、删、改 五、跨表查询规则: 六、基于对象的跨表查询 七、基于双下划线的跨表查询 注:不能出现对象 ...
分类:其他好文   时间:2019-03-06 20:41:24    阅读次数:223
JavaScript中对象的浅复制和深复制
在JavaScript中,如果要复制一个变量我们应该怎么做呢?下面这种做法是最简单的一种形式://把a复制给bleta=12;letb=a;这种复制方法只能适用于基本类型,如果a是对象怎么办呢?我们先来看看上面的代码在内存中做了什么事:声明了变量a=12,栈内存会分配一块区域来存储,如上图所示。把a赋给b,会在栈中重新开辟一块区域来存储b,并且b的值就是a的值。假如a是对象,内存做了什么事呢?来看
分类:编程语言   时间:2019-03-06 20:41:12    阅读次数:220
JSON.parse()、JSON.stringify()和eval()的作用
浅谈JSON.parse()、JSON.stringify()和eval()的作用 相信大家对于JSON应该不陌生,度娘对这个名词的解释大致如下: “JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于ECMAScript的一个子集。因为采用独立于语言 ...
分类:Web程序   时间:2019-03-06 20:40:42    阅读次数:262
从pthread中获得tid及pthread_mutex_unlock本身用户态互斥
一、pthread结构中获取tid 这个问题是由于很多时候我们都是通过gettid来获得一个线程的tid,其实这个是一个非常简单的系统调用,但是即使它非常简单,我们还是要执行进行系统调用而引入的寄存器保存/恢复等操作。但是,在C库的pthread库的实现过程中,我们可以看到,用户态是肯定保存了一个线 ...
分类:其他好文   时间:2019-03-06 20:39:54    阅读次数:346
js查重去重性能优化心得
概述 今天产品反映有个5000条数据的页面的保存按钮很慢,查看代码看到是因为点击保存按钮之后,进行了查重操作,而查重操作是用2个for循环完成了,时间复杂度是O(n^2)。没办法,只能想办法优化一下了。 主要参考了这篇文章: "JavaScript 高性能数组去重" 源码 简单来说,这个页面的要求是 ...
分类:Web程序   时间:2019-03-06 20:39:04    阅读次数:241
I386下Oprofile实现
一、引入 OProfile是Linux下性能检测的重要工具,对于系统的优化和评估有意义。例如我们的某一个单板发现CPU利用率很低,也就是真正的工作任务执行的时间不长,所以我们要分析一下系统中是哪些任务占用了大量的CPU时间,此时就需要使用OProfile工具了。 二、原理 现在大部分的CPU都在硬件 ...
分类:其他好文   时间:2019-03-06 20:38:52    阅读次数:238
单链表
链表 用不连续的、或连续的存储单元存储线性表元素 每个数据元素后,加上一个地址域,其地址为其直接后继的地址;数据元素和地址域组成结点。 头指针:指向链表的第一个结点,是第一个节点的地址,或链表在存储器中的首地址 头指针的类型与其他节点指针域的指针类型一致,都是指向同一类型的结点 单链表由头指针唯一确 ...
分类:其他好文   时间:2019-03-06 20:38:36    阅读次数:187
移除与指定元素相同的元素
移除与指定元素相同的元素 问题 给定一个数组 nums 和一个值 val,你需要原地移除所有数值等于 val 的元素,返回移除后数组的新长度。不要使用额外的数组空间,必须在原地修改输入数组并在使用 O(1) 额外空间的条件下完成。元素的顺序可以改变。不需要考虑数组中超出新长度后面的元素。 示例 1: ...
分类:其他好文   时间:2019-03-06 19:34:03    阅读次数:207
mysql中的存储引擎
MySQL中常用的几种存储引擎:innoDB、bdb、myisam、memory以及这几个引擎的讲解; InnoDB存储引擎: (1) innodb存储引擎该mysql表提供了事务,回滚以及系统崩溃修复能力和多版本迸发控制的事务的安全。 (2)innodb支持自增长列(auto_increment) ...
分类:数据库   时间:2019-03-06 19:33:46    阅读次数:219
Asp.Net 将HTML中通过dom-to-image.js标签div内的内容转化为图片保存到本地
由于客户的需求,将js写出来的一个统计能够保存到本地。作为码奴的我只能慢慢搬砖咯!一开始使用的是html2canvas.js。功能是可以实现,但是有缺陷。话不多说开始搞! 1、引入几个JS库 ①:jquery 版本还没试过我用的是3.1.1 (不贴链接了,这个要找很容易) ②:dom-to-imag ...
分类:Web程序   时间:2019-03-06 19:33:27    阅读次数:356
angular.min.js:118 Error: [ng:areq] http://errors.angularjs.org/1.5.8/ng/areq?
1,错误如图所示 简单说下错误原因是:没有js没有注册进去。 解决方法: 1.看下index.html有没有引入你的js文件。 2.看下app.js有没有注册js,比如我这次就是这步没做好,合并代码时冲掉了。如图 在后面加上丢失的invoidFolder.controllerrjs就好了.希望对别人 ...
分类:Web程序   时间:2019-03-06 19:33:06    阅读次数:388
python pandas库的基本内容
pandas主要为数据预处理 DataFrame import pandas food_info = pandas.read_csv("路径") #绝对路径和相对路径都可以 type(food_info)为DataFrame food_info.dtype_ #文件中数据的类型 food_info. ...
分类:编程语言   时间:2019-03-06 19:32:35    阅读次数:273
JQuery 图片轮播
准备工作: 1、准备几张大小相同的图片 完成功能: 1、自动轮播 2、手动轮播 3、点击二侧按钮前后切换图片 效果图: 完整代码: ...
分类:Web程序   时间:2019-03-06 19:32:11    阅读次数:212
学习MPI并行编程记录
简单的MPI程序示例首先,我们来看一个简单的MPI程序实例。如同我们学习各种语言的第一个程序一样,对于MPI的第一个程序同样是"Hello Word"。/* Case 1 hellow.c */#include #include "mpi.h"int main( int argc, char *ar... ...
分类:其他好文   时间:2019-03-06 19:31:48    阅读次数:279
661条   上一页 1 2 3 4 5 6 7 8 ... 39 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!