爬虫思路
以酷安网用户粉丝较多的用户的个人中心为进口，获取该用户的全部粉丝的个人中心链接，用户头像链接和用户名，并分别放入队列。开启两个线程获取信息，一个线程获取队列中的用户的信息并放入队列，另一个线...
分类：
编程语言 时间：
2017-03-09 12:09:04
阅读次数：
372
目的：爬取昵称 目标网站：糗事百科 依赖的库文件：request、sys、beautifulSoup4、imp、io Python使用版本：3.4 说明：参考http://cn.python-requests.org/zh_CN/latest/user/quickstart.html 步骤： 一、熟 ...
分类：
编程语言 时间：
2016-12-20 23:53:07
阅读次数：
251
经常需要下载论文，每次都需要去网页上搜索，然后点击下载，实在麻烦，正好最近刚入门Python，心血来潮，想着写一个爬虫 经过一天查阅资料，基本算是完成了，但是还是不足，比如对知网和万方暂时还不行，但是对于英文文献是基本上没有问题的，思路就是在百度学术上进行搜索，拿到它搜索结果的第一个页面，然后把里面 ...
分类：
编程语言 时间：
2016-10-01 14:56:44
阅读次数：
175
这两天看了一下python的基础语法，跟着网上的教程爬了一下百度百科和python相关联的词条。采用了beautifulsoup4插件 下面是流程 首先是一个url管理器，负责增加/获取/判断是否有url 1 # coding:UTF8 2 #url管理器 3 class UrlManager(ob ...
分类：
编程语言 时间：
2016-07-22 23:03:12
阅读次数：
371
CCCF《中国计算机学会通讯》月刊（Communications of the CCF, 简称CCCF）由中国计算机学会主办，高等教育出版社出版，面向计算机专业人士及信息领域的相关人士。杂志利用学会的学术优势，组织信息技术各个领域最有影响的专家撰稿，全面、宏观介绍计算机科学技术发展的最新发展状况，预...
分类：
其他好文 时间：
2016-01-05 20:49:53
阅读次数：
293
HtmlParser 基本类库使用HtmlParser 提供了强大的类库来处理 Internet 上的网页，可以实现对网页特定内容的提取和修改。下面通过几个例子来介绍 HtmlParser 的一些使用。这些例子其中的代码，有部分用在了后面介绍的简易爬虫中。以下所有的代码和方法都在在类 HtmlPar...
分类：
Web程序 时间：
2015-12-21 23:23:10
阅读次数：
253
这是一个简单的php加phpquery实现抓取京东商品分类页内容的简易爬虫。phpquery可以非常简单地帮助你抽取想要的html内容，phpquery和jquery非常类似，可以说是几乎一样；如果你有jquery的基础的话你可以迅速地上手。 1、下载phpquery并置于web根目录下的ph...
分类：
Web程序 时间：
2015-06-22 08:43:10
阅读次数：
243
http://www.ibm.com/developerworks/cn/opensource/os-cn-crawler/http://blog.csdn.net/dancen/article/details/7570911HttpClient 与 HtmlParser 简介本小结简单的介绍一下 ...
分类：
Web程序 时间：
2015-05-02 20:44:59
阅读次数：
153
本篇文章的目的有两个：
1.记录搭建爬虫环境的过程
2.总结爬虫项目的心得体会
一、系统环境
该方案在32位ubuntu10.04和64位centos6.9上面测试通过，所需要用到的软件如下：
1.ubuntu10.04或者centos6.9任选其一，下文主要以centos6.9来说明
2.pyspider源代码，可以从这里下载到http://download.csdn.net/detail...
分类：
编程语言 时间：
2015-04-10 20:13:53
阅读次数：
1345
