码迷,mamicode.com
首页 >  
搜索关键字:nginx spider    ( 26259个结果
linux常用命令 、查看日志、web排查
linux常用命令ps aux|grep xxx (比如 ps aux|grep tomcat ps aux|grep tomcat-portalvip ps aux|grep nginx 等)rpm -qa|grep xxx (查找系统有没有安装 比如 rpm -qa|grep mysql rpm...
分类:Web程序   时间:2014-07-16 23:20:56    阅读次数:258
leveldb开篇
因为工作的需求,最近看了一些项目的源码,包括nginx、tair、leveldb,一直看了下来都没有写东西的习惯,虽然作了不少记录,但都是只有自己才能看懂的笔记。 好多次都说开始写blog,锻炼一下自己的写作能力,在此mark决定以后坚持写。每周至少一篇文章,即使不是完全自主版权也得改改贴贴,...
分类:数据库   时间:2014-07-16 23:19:36    阅读次数:253
lnmp压力测试结果php处理能力低,增加pm.max_children后一样没提升
lnmp架构是现在很常用的,拜读过张晏的博客,内核,php-fpm,nginx,fastcgi进行调优,用autobench压力测试,访问php页面,从100个并发开始,每次加50个,直到1000个并发,pm=static,pm.max_children=128,机器8G内存,CPU是L5520,测...
分类:Web程序   时间:2014-07-16 23:16:55    阅读次数:352
nginx FastCGI中的概念区分
之前总没有把FastCGI的概念理解的很清楚,看到一段话,感觉说的很清楚了。nginx是支持fastcgi的。然而我们需要下一个fastcgi进程管理器,启动它才能执行fastcgi程序。(这里有几个概念要搞清楚:nginx是nginx,fastcgi是fastcgi,前者支持后者,但是前者本身没有...
分类:其他好文   时间:2014-07-10 14:04:04    阅读次数:215
软件开发培训不得不选传智播客的九大理由
选择传智播客九大理由: 1 有实力不怕炫,我们就爱那个是出书出开源项目 2 引领新技术,让我们学员走在别人最前面,首家推出Hadoop,Unity3D,Nginx。 3 课程知识面广,技术讲解深入易懂,让我们学员不仅会做,还能明白其中原理。 4 培养学员自己解决问题的能力,拒绝成为“只会点击控件”的工具使用者。 5 终结“行尸走肉”的生活,带您走上“积极向上,充满理想”的人生道路。 6...
分类:其他好文   时间:2014-06-28 09:02:34    阅读次数:202
scrapy递归抓取网页数据
scrapy spider的parse方法可以返回两种值:BaseItem,或者Request。通过Request可以实现递归搜索。 如果要抓取的数据在当前页,可以直接解析返回item(代码中带**注释的行直接改为yield item); 如果要抓取的数据在当前页指向的页面,则返回Request并指定parse_item作为callback; 如果要抓取的数据当前页有一部分,指向的页面有一部分(比如博客或论坛,当前页有标题、摘要和url,详情页面有完整内容)这种情况需要用Request的meta参数把...
分类:Web程序   时间:2014-06-27 09:46:13    阅读次数:333
Scrapy精华教程(六)——自动爬取网页之II(CrawlSpider)
一.目的。 在教程(二)(http://blog.csdn.net/u012150179/article/details/32911511)中使用基于Spider实现了自己的w3cschool_spider,并在items.py中定义了数据结构, 在pipelines.py中实现获得数据的过滤以及保存。 但是以上述方法只能爬取start_url列表中的网页,而网络爬虫如google等搜索引擎...
分类:Web程序   时间:2014-06-27 09:37:22    阅读次数:15554
深刻理解Nginx之基本配置和升级(2)
啊啊...
分类:其他好文   时间:2014-06-27 07:30:30    阅读次数:230
linux+php5.4+nginx+支持redis安装部署
系统环境[root@localhost~]#cat/etc/redhat-releaseCentOSrelease6.5(Final)[root@localhost~]#uname-aLinuxlocalhost.localdomain2.6.32-431.el6.x86_64#1SMPFriNov2203:15:09UTC2013x86_64x86_64x86_64GNU/Linuxphp5.4yum源rpm-Uvhhttp://mirror.webtatic.com/yum/el6/latest..
分类:Web程序   时间:2014-06-27 06:39:44    阅读次数:666
zabbix 安装和基础监控
Zabbix安装和监控系统环境[root@zabbix~]#cat/etc/redhat-releaseCentOSrelease6.3(Final)[root@zabbix~]#uname-aLinuxzabbix2.6.32-279.el6.x86_64#1SMPFriJun2212:19:21UTC2012x86_64x86_64x86_64GNU/LinuxYum安装nginx、php、mysql配置nginxyum源,php和mysql默认就用centos..
分类:其他好文   时间:2014-06-27 06:05:01    阅读次数:528
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!