背景 随着业务需求的变化，大规模爬虫遇到各种问题。python爬虫具有先天优势，社区资源比较齐全，各种框架也完美支持。爬虫性能也得到极大提升。本次分享从基础知识入手，涉及python 的两大爬虫框架pyspider、scrapy，并基于scrapy、scrapy-redis 做了分布式爬虫的介绍（直 ...
分类：
编程语言 时间：
2019-07-12 12:36:52
阅读次数：
110
强引用 Java 默认的就是强引用 只要有强引用存在，对象就不会被回收 软引用 如果内存足够就不进行回收，内存不够的时候会进行回收 比较适合做大对象的缓存 弱引用 如果垃圾回收发生，在线程扫描的时候，如果一个对象只有弱引用存在，那么就会被回收 如果这个对象是偶尔的使用，并且希望在使用时随时就能获取到 ...
分类：
编程语言 时间：
2019-07-12 12:37:16
阅读次数：
103
Python split()方法 描述 S.split(sep=None, maxsplit=-1) 返回的是字符串列表， 里面有两个参数：sep和maxsplitsep 用来指定用来拆分字符串的分隔符， 默认为None(以空白字符串为分隔符)maxsplit 用来指定最大分隔数， 不指定则分隔所有 ...
分类：
编程语言 时间：
2019-07-12 12:37:58
阅读次数：
125
#---------------------------------------------------------------# # R in Action (2nd ed): Chapter 6 # # Basic graphs ... ...
分类：
编程语言 时间：
2019-07-12 12:38:32
阅读次数：
111
static boolean zhishu(int a) { int b=a/2; int i=2; for(;i<b;i++) { if(a%i==0) return false; b=a/i; } return true; ... ...
分类：
编程语言 时间：
2019-07-12 12:39:29
阅读次数：
92
SpringBoot是为了简化Spring应用的创建、运行、调试、部署等一系列问题而诞生的产物，自动装配的特性让我们可以更好的关注业务本身而不是外部的XML配置，我们只需遵循规范，引入相关的依赖就可以轻易的搭建出一个WEB工程本篇从SpringBoot、Redis应用层面来实现分布式的限流….分布式限流单机版中我们了解到AtomicInteger、RateLimiter、Semaphore这几种解
分类：
编程语言 时间：
2019-07-12 12:40:36
阅读次数：
102
第一课 多动手，看视频加上实际操作，是入门任何语言最快的捷径 1、_启动窗口 2、按钮 button 双击直接进入 3、编辑框 写内容 格式：编辑框. 4、标签 显示文本 5、信息框 弹出的信息框 格式：信息框（） 编译 静态编译直接打包成exe ...
分类：
编程语言 时间：
2019-07-12 12:40:53
阅读次数：
84
在分布式系统中，由于服务数量巨多，为了方便服务配置文件统一管理，实时更新，所以需要分布式配置中心组件。在Spring Cloud中，有分布式配置中心组件spring cloud config，它支持配置服务放在配置服务的内存中（即本地），也支持放在远程Git仓库中。在spring cloud con ...
分类：
编程语言 时间：
2019-07-12 12:42:10
阅读次数：
91
#-----------------------------------# # R in Action (2nd ed): Chapter 5 # # Advanced data management # # requires that the reshape2 # # package has be... ...
分类：
编程语言 时间：
2019-07-12 12:44:31
阅读次数：
115
代码：使用BigDecimal来代替double double测试示例： ...
分类：
编程语言 时间：
2019-07-12 12:44:49
阅读次数：
106
#---------------------------------------------------------------# # R in Action (2nd ed): Chapter 6 # # Basic graphs ... ...
分类：
编程语言 时间：
2019-07-12 12:49:26
阅读次数：
118
在Python中以相对路径或者绝对路径来导入文件或者模块的方法 相对路径和绝对路径的概念 绝对路径就是文件的真正存在的路径，是指从硬盘的根目录(盘符)开始，进行一级级目录指向文件。 相对路径就是以当前文件为基准进行一级级目录指向被引用的资源文件。 以下是常用的表示当前目录和当前目录的父级目录的标识符 ...
分类：
编程语言 时间：
2019-07-12 12:51:01
阅读次数：
126
关键词：Python、调包、线性规划、指派问题、运输问题、pulp、混合整数线性规划（MILP） 注：此文章是线性规划的调包实现，具体步骤原理请搜索具体解法。 本文章的各个问题可能会采用多种调用方法，为什么？因为这些包各有特点，有些语法特别像matlab，只要稍稍改变即可达成代码交换；而有些包利用了 ...
分类：
编程语言 时间：
2019-07-12 12:51:37
阅读次数：
252
聚类算法： K 均值聚类（K Means） K 中心点聚类（K Meaoids） 密度聚类（Densit based Spatial Clustering of Application with Noise,DBSCAN） 系谱聚类（Hierarchical Clustering） 期望最大化聚类（ ...
分类：
编程语言 时间：
2019-07-12 12:54:03
阅读次数：
178
算法思想： 首先从序列中选择一个最值，将这个元素和序列的首地址上的元素交换，这样就完成了一个元素的排序，接下来，重复上述过程，不断的从剩下的序列中选取最值，然后添加到有序部分的末尾（注意，这种添加是通过和未排序序列的第一个元素交换来实现的。 选择排序每次交换一队元素，他们当中至少有一个元素被移动到了 ...
分类：
编程语言 时间：
2019-07-12 12:54:22
阅读次数：
125
#-----------------------------------# # R in Action (2nd ed): Chapter 5 # # Advanced data management # # requires that the reshape2 # # package has be... ...
分类：
编程语言 时间：
2019-07-12 12:54:45
阅读次数：
130
资料： 一、什么是OOM OOM，全称“Out Of Memory”，翻译成中文就是“内存用完了”,当JVM因为没有足够的内存来为对象分配空间并且垃圾回收器也已经没有空间可回收时，就会抛出这个error 二、为什么会OOM、出现的原因是什么 为什么会没有内存了呢？原因不外乎有两点： ① 分配的少了： ...
分类：
编程语言 时间：
2019-07-12 12:55:12
阅读次数：
149
#-----------------------------------# # R in Action (2nd ed): Chapter 5 # # Advanced data management # # requires that the reshape2 # # package has be... ...
分类：
编程语言 时间：
2019-07-12 12:55:56
阅读次数：
116
特性 1： 高级解包 使用解包交换变量非常方便，在 python3 中，这个特性得到了加强，现在你可以这样做： a, b, *rest = range(10) print('a:', a) print('b:', b) print('rest:', rest) ##> a: 0 ##> b: 1 # ...
分类：
编程语言 时间：
2019-07-12 12:58:41
阅读次数：
208
#---------------------------------------------------------------# # R in Action (2nd ed): Chapter 6 # # Basic graphs ... ...
分类：
编程语言 时间：
2019-07-12 13:00:22
阅读次数：
144
