在1.01版本中，我发现各回调函数找到数据后再插入数据库有个竞争问题不好解决，如果等所有回调都完成也没有好的处理方法，因为启动不止一处启动了新的TopicSpider实例。 于是我决定把读数据和写DB分开，爬虫负责前一部分，insertDB.js负责后一部分。 这样做避免了爬虫写DB竞争和判断所有回 ...
分类：
Web程序 时间：
2018-04-17 11:59:31
阅读次数：
251
<h1 color:#000000;font-size:16px;margin:0px;padding:0px;white-space:normal;background-color:#ffffff;"="" style="word-wrap: break-word; margin: 0px; padding: 0px;">Oracle
分类：
数据库 时间：
2018-04-16 18:49:46
阅读次数：
197
小米商城 html端： <!--HTML是什么？ 超文本标记语言（Hypertext Markup Language, HTML）是一种用于创建网页的标记语言。 本质上是浏览器可识别的规则，我们按照规则写网页，浏览器根据规则渲染我们的网页。对于不 同的浏览器，对同一个标签可能会有不同的解释。（兼容性 ...
分类：
移动开发 时间：
2018-04-16 16:20:05
阅读次数：
230
通过设置入口url寻找首页中内容页的链接，并寻找首页中的最大页数，通过嵌套循环遍历页数和内容页链接，实现深度为3的深度爬取，通过yield生成item对象，同时输出词频统计后出现次数的top20 该函数定义scrapy中item的键以传值 该函数设置header头部信息及延迟时间的设置 通过jieb ...
分类：
其他好文 时间：
2018-04-16 13:07:07
阅读次数：
204
<!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>作业</title> <style type="text/css"> *{ margin: 0 auto; padding: 0; } #tc{ width: 100px; hei ...
分类：
Web程序 时间：
2018-04-15 13:38:28
阅读次数：
210
不多说，直接上干货！ File -> Settings -> Editor -> Code Style （1）HOCON 分为： Tabs and Indents 、 Spaces 、 Wrapping and Braces 和 Blank Lines （2）Scala 分为：Tabs and In ...
分类：
编程语言 时间：
2018-04-14 12:45:18
阅读次数：
3531
这是一段文字，用来测试超出隐藏 这是一个例子，其实我们只需要显示如下长度： css实现网页中文字过长截取... txtHide class应该这样写： .txtHide{ width:300px; white space:nowrap; overflow:hidden; text overflow: ...
分类：
其他好文 时间：
2018-04-13 15:11:29
阅读次数：
186
import turtle angles=(0,30,60,90,120,150,180,210,240,270,300,330) colors=("blue","green","pink","purple","black","red","yellow","grey","white","beige" ...
分类：
其他好文 时间：
2018-04-11 23:03:50
阅读次数：
204
今天想查询下数据库有多少个表，粗略评估下项目大小。 在mysql中有个数据库information_schema下的表tables记录了所有数据库中所有的表相关信息 sql语句： SELECT COUNT( * ) FROM information_schema.tables WHERE TABLE ...
分类：
数据库 时间：
2018-04-11 19:14:19
阅读次数：
234
一般情况下，元素拥有默认的white-space:normal（自动换行，PS：不换行是white-space:nowrap）,当录入的文字超过定义的宽度后会自动换行，但当录入的数据是一堆没有空格的字符或字母或数字（常规数据应该不会有吧，但有些测试人员是会这样子做的），超过容器宽度时就会把容器撑大， ...
分类：
Web程序 时间：
2018-04-11 18:14:48
阅读次数：
184
