对于分析网页或者写爬虫的时候经常需要用到抓包工具进行网页数据的抓包。在Windows下可以安装Fiddler来抓包。在ubuntun下不能直接安装Fiddler。需要先安装mono 1 首先安装mono环境：apt-get install mono-complete 2 下载一个最新的Fidder ...
分类：
系统相关 时间：
2018-05-13 22:07:14
阅读次数：
1032
Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个主机的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数），这时候分布式爬虫的优势就显现出来。 而Scrapy-Redis则是一个基于Redis的S ...
分类：
其他好文 时间：
2018-05-03 16:41:06
阅读次数：
214
“1”概述：当客户机通过代理来请求WEB页面时，指定的代理服务器会先检查自己的缓存，如果缓存中已经有客户机需要的页面，则直接将缓存中的页面内容反馈给客户机，如果缓存中没有客户机要访问的页面，则由代理服务器向INTERNET发送访问请求，当获得访问的web页面以后，将网页数据保存到缓存中并发送到客户机。“2”代理类型：传统代理：也就是普通的代理服务，首先必须在客户机的浏览器，QQ聊天工具，下载软件程
分类：
其他好文 时间：
2018-05-03 10:27:23
阅读次数：
209
下面我们将介绍三种抓取网页数据的方法，首先是正则表达式，然后是流行的 BeautifulSoup 模块，最后是强大的 lxml 模块。 1. 正则表达式 如果你对正则表达式还不熟悉，或是需要一些提示时，可以查阅Regular Expression HOWTO 获得完整介绍。 当我们使用正则表达式抓取 ...
分类：
编程语言 时间：
2018-05-01 10:47:59
阅读次数：
285
ajax(异步javascript xml) 能够刷新局部网页数据而不是重新加载整个网页。接下来通过本文给大家介绍Ajax的使用四大步骤，非常不错，感兴趣的朋友看下吧 什么是ajax? ajax(异步javascript xml) 能够刷新局部网页数据而不是重新加载整个网页。 如何使用ajax? 第 ...
分类：
Web程序 时间：
2018-04-26 16:54:45
阅读次数：
207
利用python对豆瓣电影评价的爬取，并生成词云 一、抓取网页数据 第一步要对网页进行访问，python中使用的是urllib库。代码如下： 第二步，需要对得到的html代码进行解析，得到里面提取我们需要的数据。 在python中使用BeautifulSoup库进行html代码的解析。 Beauti ...
分类：
编程语言 时间：
2018-04-22 12:50:53
阅读次数：
511
python urllib_urlopen( ) Python urllib 库提供了一个从指定的 URL 地址获取网页数据，然后对其进行分析处理，获取想要的数据。 一、urllib模块urlopen()函数： urlopen(url, data=None, timeout, proxies=Non ...
分类：
编程语言 时间：
2018-04-13 11:10:23
阅读次数：
182
最近使用java实现了一个简单的网页数据抓取，下面是实现原理及实现代码: 原理：使用java.net下面的URL对象获取一个链接，下载目标网页的源代码，利用jsoup解析源代码中的数据，获取你想要的内容 1.首先是根据网址下载源代码： 2.根据下载源代码解析数据，获取你想要的内容，这里我获取的是图片 ...
分类：
编程语言 时间：
2018-03-31 00:52:01
阅读次数：
182
java web 后台运行原理 当Web服务器接收到一个HTTP请求时，它会先判断请求内容——如果是静态网页数据，Web服务器将会自行处理，然后产生响应信息；如果牵涉到动态数据，Web服务器会将请求转交给Servlet容器。此时Servlet容器会找到对应的处理该请求的Servlet实例来处理，结果 ...
分类：
编程语言 时间：
2018-03-26 16:07:32
阅读次数：
130
# Author:toloy # 导入队列包 import queue # 导入线程包 import threading # 导入json处理包 import json # 导入xpath处理包 from lxml import etree # 导入请求处理包 import requests cla ...
分类：
编程语言 时间：
2018-03-22 19:13:34
阅读次数：
163
