网络爬虫－使用java语言抓取网络数据前提：熟悉java语法（能看懂就行）准备阶段：从网页中获取html代码实战阶段：将对应的html代码使用java语言解析出来，最后保存到plist文件上一片文章已经介绍我们可以使用两个方式来抓取网络数据实现网络爬虫，并且大致介绍了一下怎么使用正则表达式去实现数据...
分类：
移动开发 时间：
2015-12-04 18:14:58
阅读次数：
335
四、更新策略 互联网是实时变化的，具有很强的动态性。网页更新策略主要是决定何时更新之前已经下载过的页面。常见的更新策略又以下三种： 1.历史参考策略 顾名思义，根据页面以往的历史更新数据，预测该页面未来何时会发生变化。一般来说，是通过泊松过程进行建模进行预测。 2.用户体验策略尽管搜索引擎针...
分类：
其他好文 时间：
2015-11-30 17:46:01
阅读次数：
133
import java.io.BufferedReader;import java.io.InputStreamReader;import java.net.URL;import java.net.URLConnection;import java.util.regex.Matcher;import...
分类：
其他好文 时间：
2015-11-30 16:01:12
阅读次数：
181
SEO优化通俗点说就是为了让网站在各大搜索引擎中更容易的被搜到，即提高搜索排行，从而提高网站流量的一个技术手段在写web页面的时候，为了让网络爬虫更容易的搜索到页面，需要注意几个点：html语义化刚接触web前端开发的时候很奇怪，既然html标签可以通过css进行更改它的内置属性，为什么还有这么多的...
分类：
Web程序 时间：
2015-11-28 19:50:02
阅读次数：
142
一、Robots.txt协议Robots协议，也称为爬虫协议、机器人协议等，其全称为“网络爬虫排除标准（Robots Exclusion Protocol）”。网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。也既是Robots的用法有两种，一种是告诉搜索引擎哪些页面你不能抓（...
分类：
其他好文 时间：
2015-11-28 14:49:49
阅读次数：
159
处于兴趣，最近在学习一个Java的网络爬虫框架webmagic，其实就是用一个程序来把下载任务自动化，比如你想下载一张图片很快，直接右键点击下载就可以了，但如果下载1000张就需要花些时间了。但计算机可以把这一系列步骤自动化，而你只需要制定规则就行了。折腾了几天好不容易入门了，兴冲冲地准备爬取知.....
分类：
Web程序 时间：
2015-11-21 18:25:10
阅读次数：
141
先决条件：Python环境然后装了下模块Beautifulsoup4，lxml，requests笔者当然推荐Anaconda了，在此基础上pip或者conda安装就行如，C:\>condainstalllxmlbeautifulsoup4requests其实爬下来倒不是很难，不管是requests还是urllib，一下就能把页面download下来，在抓下来之后的..
分类：
其他好文 时间：
2015-11-19 19:12:25
阅读次数：
422
下载博客园的logofrom urllib.request import urlretrievefrom urllib.request import urlopenfrom bs4 import BeautifulSouphtml = urlopen("http://www.cnblogs.com"...
分类：
编程语言 时间：
2015-11-19 12:38:18
阅读次数：
165
HTTP超文本传输协议（HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络协议。所有的WWW文件都必须遵守这个标准。它是一个客户端和服务器端请求和应答的标准（TCP）。 客户端是终端用户，服务器端是网站。通过使用Web浏览器、网络爬虫或者其它的工具，客户端发起一个到服务器上指定端口（默认端口为80）的HTTP请求，服务器端响应报文的过程.........
分类：
Web程序 时间：
2015-11-14 12:34:10
阅读次数：
281
布隆过滤器用于字符串去重复，比如网络爬虫抓取时URL去重、邮件提供商反垃圾黑名单Email地址去重。等等。用哈希表也可以用于元素去重，但是占用空间比较大，而且空间使用率只有50%。 布隆过...
分类：
Web程序 时间：
2015-11-12 13:48:16
阅读次数：
294
