Hadoop产生的背景 1. HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 2. 2003年开始谷歌陆续发表的三篇论文为该问题提供了可行的 ...
分类：
其他好文 时间：
2018-03-07 20:08:41
阅读次数：
221
简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。 Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。 Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有 ...
分类：
编程语言 时间：
2018-03-06 21:42:04
阅读次数：
199
一、beautifulsoup的简单使用 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： 更多知识访问：官方文档 1.安装 （1）解析器 Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我 ...
分类：
其他好文 时间：
2018-03-02 01:11:49
阅读次数：
195
引言 刚开始以为要一个绿色快速通道网页，涵盖常用的地址链接，以便于google的爬虫统计数据，然后看了google sitemap站点文档，原来站点地图是一种文件，您可以通过该文件列出您网站上的网页，从而将您网站内容的组织架构告知 Google 和其他搜索引擎。Googlebot 等搜索引擎网页抓取 ...
分类：
其他好文 时间：
2018-03-01 17:32:52
阅读次数：
138
网页抓取小工具（IE法）—— 吴姐 http://club.excelhome.net/thread-1095707-1-1.html 用IE提取网页资料的好处在于：所见即所得，网页上能看到的信息一般都能获取。 本工具功能不多，主要是便于提取网页上展示的信息所在元素的代码。希望能对大家有点小帮助。 ...
分类：
Web程序 时间：
2018-02-13 16:43:25
阅读次数：
174
一、Beautiful Soup简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据 ...
分类：
编程语言 时间：
2018-02-05 23:21:07
阅读次数：
387
一、预备知识 1.Python3.x基础知识学习： 可以在通过如下方式进行学习： (1)廖雪峰Python3教程(文档)： URL：http://www.liaoxuefeng.com/ (2)菜鸟教程Python3教程(文档)： URL：http://www.runoob.com/python3/ ...
分类：
编程语言 时间：
2018-02-04 18:06:55
阅读次数：
212
接下来，让我们真正迈向我们的爬虫之路吧！ urllib2库的基本使用 所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 在Python中有很多库可以用来抓取网页，我们先学习urllib2。 urllib2 是 Python2.7 自带的模块(不需要下载，导入即可使用) ...
分类：
Web程序 时间：
2018-02-02 15:08:45
阅读次数：
244
在web开发的时候我们经常会遇到网页抓取和分析，各种语言都可以完成这个功能。我喜欢用python实现，因为python提供了很多成熟的模块，可以很方便的实现网页抓取。但是在抓取过程中会遇到编码的问题，那今天我们来看一下如何判断网页的编码：网上很多网页的编码格式都不一样，大体上是GBK,GB2312， ...
分类：
编程语言 时间：
2018-01-27 19:14:10
阅读次数：
143
网页的抓取网络爬虫的核心功能之一，本文介绍一下htmlunit的使用。 1.jar包： 从链接：http://sourceforge.net/projects/htmlunit/files/htmlunit/ 下载最新的bin文件 htmlunit-2.29.jar;htmlunit-core-js ...
分类：
Web程序 时间：
2017-12-29 15:16:11
阅读次数：
278
