1.pyquery简介
python中的pyquery模块语法与jquery相近，可用来解析HTML文件。官方文档地址：https://pythonhosted.org/pyquery/ 。通过HTML中的标签、id、给定的索引等来获取元素，使得解析HTML文件极为方便。
2.实例
2.1 爬取豆瓣电影页面中主演
右键chrome中的审查元素，观察到主演的标...
分类：
编程语言 时间：
2014-07-22 23:02:54
阅读次数：
455
帮朋友抓取微信公众平台的用户评论信息。只说核心的部分，怎么解析评论信息。
查看HTML代码，没有发现关于评论部分的标签。看了是用JS动态生成的，但是查找ajax请求也没有找到。最后搜索一下，原来是在这里：
wx.cgiData = {
total_count : 91,
latest_msg_id : '200325222...
分类：
微信 时间：
2014-07-22 22:59:35
阅读次数：
4934
今天来讲如何利用Python爬虫下载文章，拿韩寒的博客为例来一步一步进行详细探讨。。。
韩寒的博客地址是：http://blog.sina.com.cn/s/articlelist_1191258123_0_1.html
可以看出左边是文章列表，而且不止一页，我们先从最简单的开始，先对一篇文章进行下载，再研究对一页所有的文
章进行下载，最后再研究对所有的文章下载。...
分类：
编程语言 时间：
2014-07-22 22:59:35
阅读次数：
330
先说说看这篇博客你能知道什么：1 腾讯、网易、新浪不同新闻的地址格式以及评论内容的地址格式（返回数据为json的异步接口）；2 一些比较通用的设计方法，对软件设计的菜鸟可能有帮助；
之前也说了要写这边博客，现在终于写出来了。我的毕业设计的指导老师说毕设论文的字数不够……所以我决定把这些本不应该出现在论文中的实现细节凑到论文中。至于下面说到的东西要解决什么问题，各位可以先看看这个网站（我毕设的初步结果，目前还在优化中，包括代码结构还有UI设计）：http://reetseenews.duapp.com/
这个...
分类：
Web程序 时间：
2014-05-02 06:50:01
阅读次数：
436
DNS 解析是高性能网络爬虫的瓶颈，主要是因为：1.
由于域名服务的分布式的特性，DNS解析可能需要多次的请求转发，有时需要几秒甚至更长的时间来解析出相应的IP 地址。2.
现有的标准库对DNS解析的实现是同步的。JAVA中InetAddress.getByName是线程阻塞的。并且JAVA中实现的...
分类：
其他好文 时间：
2014-05-02 00:20:56
阅读次数：
349
Number Sequence
Time Limit: 1000MS
Memory Limit: 10000K
Total Submissions: 33215
Accepted: 9490
Description
A single positive integer i is given. Write a program to f...
分类：
其他好文 时间：
2014-05-01 22:06:17
阅读次数：
437
代做毕设，代做GIS毕业设计，GIS项目；常年从事桌面GIS，ArcGIS数据处理分析等；ArcMap插件开发（.Net，Python）；QQ：624030189您是不是还在为做GIS毕业设计苦恼？没有思路，数据不会处理，不会编程？软件环境不会安装？您是不是还在为科研项目中用到GIS而头疼？图像不会...
分类：
其他好文 时间：
2014-05-01 14:03:48
阅读次数：
385
最近亲眼看到快播被大批警察包围，感觉到快播注定要关闭很多东西，很多宅男宅女们又要寂寞了，于是乎，疯狂的研究DHT网络技术
看到网上也有开源的代码，这不，我拿来进行了二次重写，呵呵，上代码：
#encoding: utf-8
import socket
from hashlib import sha1
from random import randint
from struct import u...
分类：
其他好文 时间：
2014-04-29 13:13:20
阅读次数：
420
如何把Hadoop配置到多台机器中，构建分布式数据处理环境...
分类：
其他好文 时间：
2014-04-28 10:44:41
阅读次数：
293
前文中我们把网络爬虫爬取的数据保存为JSON格式，但为了能够更方便地处理数据，我们希望把这些数据导入到MySQL数据库中。phpMyadmin可以把MySQL数据库中的数据导出为JSON格式文件，但却不能把JSON格式文件导入到MySQL数据库。为了实现这个目标，可以编写Python脚本将JSON格式数据转换为SQL语句以便导入MySQL数据库。
JSON文件tencent.json...
分类：
数据库 时间：
2014-04-28 10:33:41
阅读次数：
479
