原文：http://www.52nlp.cn/python-网页爬虫-文本处理-科学计算-机器学习-数据挖掘曾经因为NLTK的缘故开始学习Python，之后渐渐成为我工作中的第一辅助脚本语言，虽然开发语言是C/C++，但平时的很多文本数据处理任务都交给了Python。离开腾讯创业后，第一个作品课程图...
分类：
编程语言 时间：
2015-02-03 10:43:59
阅读次数：
241
曾经因为NLTK的缘故开始学习Python，之后渐渐成为我工作中的第一辅助脚本语言，虽然开发语言是C/C++，但平时的很多文本数据处理任务都交给了Python。离开腾讯创业后，第一个作品课程图谱也是选择了Python系的Flask框架，渐渐的将自己的绝大部分工作交给了Python。这些年来，接触和使...
分类：
编程语言 时间：
2015-01-31 07:05:41
阅读次数：
327
Atitit.网页爬虫的架构总结
1. 总数的结构..(接口方法) 1
2. 获得页数 1
3. 跳页处理(接口方法) 2
4. 单个的页面处理(接口方法) 2
4.1. 获得页面url 3
4.2. 获得页面html 3
4.3. 获得list 3
4.4. 处理单个的数据条目 3
5. 调用 4
6. 日志的实现 4
7. 参考 4
1. 总数的结构..(接...
分类：
Web程序 时间：
2015-01-17 15:14:10
阅读次数：
216
cURL:即使用URL语法传输数据的命令工具，是客户端向服务器请求资源工具。
作用：
1、网页资源（编写网页爬虫）
2、webservice（动态获取接口数据天气，号码归属地）
3、FTP资源上传和下载
必须先配置服务器支持curl，配置过程不再说。
简单网络爬虫，下载百度页面并替换
<?php
/**
* 实例描述：在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之...
分类：
Web程序 时间：
2014-12-17 09:47:53
阅读次数：
193
python 网页爬虫抓取的url页面 是GBK格式。
会显示乱码，所以以至于后面的用正则表达式匹配都是错误的。
以下方法可以解决此问题：
reload(sys)
sys.setdefaultencoding('utf-8')
在程序开头添加以上代码即可。...
分类：
编程语言 时间：
2014-12-08 19:39:09
阅读次数：
144
这是我的一位同学传给我的一个小的网页爬虫程序，觉得挺有意思的，和大家分享一下。不过有一点需要注意，要用python2.3，如果用python3.4会有些问题出现。...
分类：
编程语言 时间：
2014-11-27 22:09:33
阅读次数：
273
来源：http://www.ido321.com/1158.html
抓取某一个网页中的内容，需要对DOM树进行解析，找到指定节点后，再抓取我们需要的内容，过程有点繁琐。LZ总结了几种常用的、易于实现的网页抓取方式，如果熟悉JQuery选择器，这几种框架会相当简单。
一、Ganon
项目地址： http://code.google.com/p/ganon/
文档： http://code.google.com/p/ganon/w/list
测试:抓取我的网站首页所有class属性值是focus的d...
分类：
Web程序 时间：
2014-11-07 22:09:41
阅读次数：
264
reference: http://www.52nlp.cn/python-%e7%bd%91%e9%a1%b5%e7%88%ac%e8%99%ab-%e6%96%87%e6%9c%ac%e5%a4%84%e7%90%86-%e7%a7%91%e5%ad%a6%e8%ae%a1%e7%ae%97-%...
分类：
编程语言 时间：
2014-10-24 10:33:17
阅读次数：
430
序言：在不知道jsoup框架前，由于项目需求，需要定时抓取其他网站上的内容，便想到用HttpClient方式获取指定网站的内容，这种方法比较笨，就是通过url请求指定网站，根据指定网站返回文本解析。说白了HttpClient充当一下浏览器的角色，返回的文本需要自己处理，一般都是用string.indexOf或者string.subString方法处理。
当有一天发现jsoup这个...
分类：
Web程序 时间：
2014-10-23 00:11:44
阅读次数：
181
在网页爬虫的实现过程中还涉及了一些基本的功能函数，例如获取系统的当前时间函数，进程休眠和字符串替换函数等。
我们将这些多次调用的与过程无关的函数写成一个类Utilities。
Code：
/////Utilities.h
//*************************
//与操作系统相关的函数
//*************************
#ifndef Uti...
分类：
Web程序 时间：
2014-10-22 16:01:00
阅读次数：
248
