本文提供了一种准确判断请求是否是搜索引擎发出请求的方法，非通过UserAgent判断，提供了Python实现判断的核心代码，和一个web工具！...
分类：
其他好文 时间：
2014-11-14 22:46:25
阅读次数：
150
给开发加了个pdf信息提取优化任务。弄了半天发现服务器也是个好东西。这周末可以和爬虫讨论整合的问题了。 MemberToday’s taskNext task林豪森协助测试及服务器部署协助测试及服务器部署宋天舒服务器程序部署服务器程序部署及运行测试张迎春整合测试分词算法修复整合存在的bug黄漠源.....
分类：
其他好文 时间：
2014-11-14 19:25:39
阅读次数：
188
本小结简单的介绍一下 HttpClinet 和 HtmlParser 两个开源的项目，以及他们的网站和提供下载的地址。
HttpClient 简介
HTTP 协议是现在的因特网最重要的协议之一。除了 WEB 浏览器之外， WEB 服务，基于网络的应用程序以及日益增长的网络计算不断扩展着 HTTP 协议的角色，使得越来越多的应用程序需要 HTTP 协议的支持。虽然 JAVA 类库 .net...
分类：
Web程序 时间：
2014-11-14 12:33:37
阅读次数：
215
首先不得不承认自己做了标题党，本文实质是分析500lines or less的crawl工程，这个工程的地址是https://github.com/aosabook/500lines，有兴趣的同学可以看看，是一个 非常高质量的开源工程集合，据说要写一本书，不过看着代码提交记录，这本书面世时间应该不会...
分类：
编程语言 时间：
2014-11-14 10:34:42
阅读次数：
180
上周断断续续好几个爬虫出问题，今天统计了以下十多个爬虫停止工作了。这下有事情做了。今天看了Prada的官网，改版好严重，连价格取值都成get https json了。好在排版什么的还是挺不错的。 ????继续接...
分类：
其他好文 时间：
2014-11-14 00:23:52
阅读次数：
171
最近我们根据之前发现的问题，补充了相关知识，正在努力修复出现的问题，调整程序结构。成员已完成待完成彭林江之前没有考虑到网站信息更新导致的程序可变性,正在调整爬虫程序结构更换爬虫结构郝倩之前没有考虑到网站信息更新导致的程序可变性,正在调整爬虫程序结构更换爬虫结构高雅智管理任务进度，重定位人力资源和计划...
分类：
其他好文 时间：
2014-11-13 23:45:10
阅读次数：
318
最近发现天涯论坛是一个挺有意思的网站，有各种乱七八糟的帖子足以填补无聊时候的空虚感，但是相当不爽的一件事就是天涯的分页模式下想连贯的把楼主的内容看完实在是太心酸了，一个999页的帖子，百分之九十都是无聊网友的灌水，有时候连续翻几十页才能找到楼主的一条内容。所以无聊之下，就打算写一个简单的爬虫，能一次...
分类：
编程语言 时间：
2014-11-12 22:57:44
阅读次数：
762
一、演绎自已的北爱踏上北漂的航班，开始演奏了我自已的北京爱情故事二、爬虫11、网络爬虫的思路首先：指定一个url，然后打开这个url地址，读其中的内容。其次：从读取的内容中过滤关键字；这一步是关键，可以通过查看源代码的方式获取。最后：下载获取的html的url地址，或者图片的url地址保存到本地2、...
分类：
编程语言 时间：
2014-11-12 22:31:28
阅读次数：
523
今天在用爬虫时gevent报了AssertionError: Impossible to call blocking function in the event loop callback异常，很奇怪，难道是patch_socket惹的货，因为之前没有使用patch_socket是正常的，代码简化如下import urllib
import gevent
from gevent.monkey im...
分类：
其他好文 时间：
2014-11-12 16:40:58
阅读次数：
340
Github博文地址，此处更新可能不是很及时。
1.背景
最近发现算法以及数据结构落下了不少（其实还是大学没怎么好好学，囧rz），考虑到最近的项目结构越来越复杂了，用它来练练思路，就打算复习下数据结构与算法。结合最近在学英语，然后干脆就用英文喽。然后选定一本参考书籍《Data Structures and Algorithms in Java》。
刚开始看还是蛮吃力的，慢慢来。由于之...
分类：
编程语言 时间：
2014-11-12 00:48:04
阅读次数：
285
