码迷,mamicode.com
首页 > 2016年03月22日 > 全部分享
使用node的http模块实现爬虫功能,并把爬到的数据存入mongondb
刚开始使用http中间件做爬虫其实蛮多坑的,最主要的坑就是编码问题,有很多中文网站的采用的gb2313的编码方式,这个在爬到的报文解析就很蛋碎, 因为http中间件对utf-8支持的比较好,所以针对这一点我们需要对于gb2312的网站做编码转换处理 这里我使用了mongoose,所以node执行js
分类:数据库   时间:2016-03-22 19:04:54    阅读次数:409
WebStorm2016.1 破解 激活
方法来自 Rover12421 大神。 1.从官网下载WebStorm2016.1安装。 2.下载 破解补丁 并解压,记住路径 3.编辑WebStorm安装目录下 bin 文件夹中的 WebStorm.exe.vmoptions 与 WebStorm64.exe.vmoptions 文件, 在头部加
分类:Web程序   时间:2016-03-22 19:04:46    阅读次数:327
unity,List元素第一个成员最好是string类型
例如 List<CmyObj> m_list=new List<CmyObj>(); class CmyObj{ string m_name; int m_value; } class CmyObj{ int m_value; string m_name; } 以上两种CmyObj的定义方式导致m_
分类:编程语言   时间:2016-03-22 19:06:05    阅读次数:166
sed的基础应用
sed是一个非交互式的文本编辑器;sed一行一行的处理文件 sed有模式空间(主要活动空间)和缓存空间(辅助空间)两个空间: 模式空间(pattern space)将文件中的一行内容读取到临时缓冲区(模式空间),经过处理后进行输出并清空空间内容; 保持空间(hold space):保持空间不会自动清
分类:其他好文   时间:2016-03-22 19:06:35    阅读次数:284
高龄孕妈的问与答
由这样的卵子(或精子)受精后发育成的胎儿,所生孩子中先天性痴呆儿和某些先天性畸形儿的发病率愈高。其畸形及某些遗传病发生率就会增高,我们遇到最多的是唐氏综合征,流产、早产、死胎、畸形和痴呆儿的发生率也很高。据统计,染色体畸变机会增多,出现这种情况是因为卵巢及睾丸随着年龄增长逐渐衰老蜕变,35岁以下的孕
分类:其他好文   时间:2016-03-22 19:03:36    阅读次数:163
软件工程学生的编程能力与编程语言是中文或英文有关系吗?
此问题纯属在数据课上看着全是英文的课件,又听着老师并不标准的普通话,有点儿懵而瞎想的,后来看到老师的补充作业中,有一道题与我想的差不多,于是在网上查了一些期刊,搜了些资料,然后就决定写这个。下面进入正题。 据《圣经·创世纪》第11章记载,巴比塔是当时人类联合起来兴建希望能通往天堂的高塔,为了阻止人类
分类:编程语言   时间:2016-03-22 19:05:29    阅读次数:202
tr和sed命令
tr: tr命令不接受指定的文件参数,而是对标准输入进行编译 使用主要是 tr SET1 SET2 例如 tr ' ' '\11' <height.txt (使用ascii的八进制标示,制表符11,回车15,换行12) tr转换大小写 tr 'a-z' 'A-Z' <word.txt numbers
分类:其他好文   时间:2016-03-22 19:04:58    阅读次数:213
NSOJ 畅通工程()
简单并查集 代码:
分类:其他好文   时间:2016-03-22 19:03:00    阅读次数:218
向下之旅(十三):内核同步方法
原子操作 原子操作可以保证指令以原子的方式执行——执行过程不会被打断。 内核提供了两组原子操作的接口——一组针对整数进行操作,另一组针对单独的位进行操作。在Linux支持的所有体系结构中都实现了这两组接口。 原子整数操作 针对整数的原子操作只能对atomic_t类型的数据进行处理。在这里之所以引入了
分类:其他好文   时间:2016-03-22 19:05:09    阅读次数:149
nodejs+express开发blog(2)
app.engine('.html', require('ejs').__express);app.set('view engine', 'html'); 注意:修改views下面的后缀名,并且并且不要忘记index.html里引入的
分类:Web程序   时间:2016-03-22 19:02:08    阅读次数:216
独立游戏开发调查问卷结果分析及设想实现
初步游戏设想为沙盒生存类,于是通过网络调查问卷稍微收集了27位用户的意见。总结如下 首先,在“爱玩的游戏类型”选项中,18/27的用户选择了RPG(角色扮演类型),占据了绝大多数。这个与我们游戏的开发设想一致——生存类本身就属于RPG的一种分支。 15/27人一天的游戏时间在1小时到3小时之间,所以
分类:其他好文   时间:2016-03-22 19:03:31    阅读次数:275
从公司买火车票到代理模式和适配器模式
分类:其他好文   时间:2016-03-22 19:01:24    阅读次数:227
sql 编写横竖表转换
将横表转为竖表,基本思想是: 1)将横表的多条数据,"压"成一条.相当于将这么多条分组,每组"压"成一条数据.利用group by 2) 再对竖表中的列,由特定行的数据填充,利用case when 'a' then 'b' else 没有用的值 end,为了过滤一些没有用的数据,常用的函数有max(
分类:数据库   时间:2016-03-22 19:02:22    阅读次数:205
怎样与用户有效地沟通以获取用户的真实需求?
最近开始了做团队项目,因此也开始获取用户的需求。往往需求的获取是由对用户的访谈开始的。然而访谈得到的需求往往会由于交谈双方的理解侧重点、观念不同等各种情况导致得到的需求并不是十分贴近用户的需求。那么该如何与用户沟通以便得到用户的真实需求呢? 我认为,对于难以得到用户的真实需求的主要原因在于我们的主观
分类:其他好文   时间:2016-03-22 19:01:40    阅读次数:517
世界是数字的。
读后感 最近读了《世界是数字的》这本书,感悟很多从文章的题目来看技术问题的重要性由此可见。 下面就简单总结下自己的所获和所感。 数字技术和网络对翻译的影响是持续、广泛而深刻的。在我们现今这个时代,通常被称为信息时代、知识社会,其实更恰当的称呼应该是翻译的时代。信息技术的出现,让生活的各个领域产生了急
分类:其他好文   时间:2016-03-22 19:01:26    阅读次数:178
国人祖先源于三峡_重庆发现我国最早古人类化石
“因为那时猿的特征还比较明显,过去学界普遍认为“东亚型人”是几十万年前变成“人”之后才从非洲来到东亚的,所以从猿变成人这一重大转变是在中国大地上完成的,还不是真正意义上的人,”所以我们有理由怀疑人类单纯起源于非洲的说法。黄万波告诉记者,东亚就来了一批“猿人”,而“巫山人”的发现则至少说明早在200万
分类:其他好文   时间:2016-03-22 19:00:22    阅读次数:330
HTML5中的新增功能
<datalist> 标签 <datalist> 标签定义选项列表。请与 input 元素配合使用该元素,来定义 input 可能的值。 datalist 及其选项不会被显示出来,它仅仅是合法的输入值列表。 请使用 input 元素的 list 属性来绑定 datalist。 <datagrid>
分类:Web程序   时间:2016-03-22 19:01:41    阅读次数:174
947条   上一页 1 ... 10 11 12 13 14 15 16 ... 56 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!