本篇从实际出发，展示如何用网页爬虫。并介绍一个流行的爬虫框架~ 1. 网页爬虫的过程 所谓网页爬虫，就是模拟浏览器的行为访问网站，从而获得网页信息的程序。正因为是程序，所以获得网页的速度可以轻易超过单身多年的手速：)。通常适用于需要大量网页信息的场合。 爬取网页的流程为：访问初始url -> 获得返 ...
分类：
Web程序 时间：
2016-10-14 23:16:48
阅读次数：
189
爬虫 python3爬取网页资源方式(1.最简单： 'wd''python''opt-webpage''on''ie''gbk'GET和POST请求的不同之处是POST请求通常有"副作用" 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)''User-A ...
分类：
编程语言 时间：
2016-10-13 14:54:07
阅读次数：
186
每天的数据差不多是这样的：抓取网页数据，进行保存：importurllib
importtime
importcalendar
year_list=[2016]
month_list=[1,2,3,4,5,6,7,8,9,10,11,12]
foryearinyear_list:
ifyear==2015:
formonthinmonth_list[6:]:
days=range(calendar.monthrange(year,month)[1]+1)[..
分类：
其他好文 时间：
2016-10-09 20:43:33
阅读次数：
162
Internet上的一些站点常常存在着镜像网站（mirror），即两个网站的内容一样但网页对应的域名不同。这样会导致对同一份网页爬虫重复抓取多次。为了避免这种情况，对于每一份抓取到的网页，它首先需要进入ContentSeen模块。该模块会判断网页的内容是否和已下载过的某个网页的内容一致，如果一致，则... ...
分类：
其他好文 时间：
2016-09-13 20:52:41
阅读次数：
404
参考文章：https://swlaschin.gitbooks.io/fsharpforfunandprofit/content/posts/fvsc-download.html 参考的文章教了我们如果在F#里利用.Net的库来下载一个网页，这里，我来发散一下，把它弄成一个可以用来帮助写爬虫的基础库 ...
分类：
Web程序 时间：
2016-09-05 12:16:59
阅读次数：
160
JAVA之旅（三十四）——最佳实战：浏览器
我们接着来说网络编程，TCP
一.自定义服务端
我们直接写一个服务端，让本机去连接，可以看到什么样的效果
package com.lgl.socke...
分类：
编程语言 时间：
2016-08-27 22:11:24
阅读次数：
242
HtmlAgilityPack组件用于解析Html字符串，一个典型的应用场景是用于网页爬虫。 示例程序 using Common.Tools; using Datebase.Entity; using HtmlAgilityPack; using Http.Extension; using Serv ...
分类：
Web程序 时间：
2016-07-30 11:49:25
阅读次数：
215
PHP中的数据传输神器cURL先谢慕课网，谢谢老师。cURL的概念： (client URL Library Function ) 使用URL语法传输数据的命令行工具.客户端向服务器请求资源的工具。cURL的使用场景： 请求网页资源（编写网页爬虫）； WebService数据接口资源（动态获取接口数 ...
分类：
Web程序 时间：
2016-06-14 13:43:31
阅读次数：
218
