import webbrowser as web
import time
import os
i = 0
MAXNUM = 1
while i <= MAXNUM:
web.open_new_tab('要刷的网络地址')
os.system('taskkill /F /IM 浏览器文件名(chrome.exe)')
i += 1
else:...
分类：
编程语言 时间：
2014-07-29 22:08:12
阅读次数：
324
Web Crawler, 也时也称scrapers，即网络爬虫，用于自动搜索internet并从中提取 想要的内容。互联网的发展离不开它们。爬虫是搜索引擎的核心，通过智能算法发现符合 你输入的关键字的网页。Google网络爬虫会进入你的域名，然后扫描你网站的所有网页，从中析取网页标题，描述， 关键字...
分类：
Web程序 时间：
2014-07-29 10:25:48
阅读次数：
369
1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view&搜索引擎 NutchNutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 尽管Web搜索是漫游In...
分类：
其他好文 时间：
2014-07-26 01:46:06
阅读次数：
442
1 #!/usr/bin/env python 2 3 import cStringIO # 4 import formatter # 5 from htmllib import HTMLParser ...
分类：
编程语言 时间：
2014-07-22 22:58:15
阅读次数：
284
在实际工作中，数据的来源不能局限于自家的数据库或者成型的后台，在做某些市场分析或是竞争对手开服节奏分析的情况下，对竞争对手数据的获得显得更为至关重要，本文就以获取某大平台开服数据作为一个案例，简要的介绍另一种获取数据的方法，网络爬虫技术。何为网络爬虫，爬虫是一个自动提取网页的程序，为搜索引擎在万维网...
分类：
其他好文 时间：
2014-07-21 14:25:25
阅读次数：
222
最近看的关于网络爬虫和模拟登陆的资料，发现有这样一个包mechanize ['mek?.na?z]又称为机械化的意思，确实文如其意，确实有自动化的意思。mechanize.Browser and mechanize.UserAgentBase implement the interface of u...
分类：
其他好文 时间：
2014-07-20 10:13:11
阅读次数：
213
使用Scrapy这个python的网络爬虫框架抓取Scrapy中文文档开发第一步：新建项目scrapy startproject myfirst目录结构：myfirst│ scrapy.cfg Scrapy项目配置文件│└─myfirst Scrapy项目代码存放目...
分类：
其他好文 时间：
2014-07-19 16:00:43
阅读次数：
207
所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。不过由于一个网站的网页很多，而我们又不可能事先知道所有网页的URL地址，所以，如何保证我们抓取到了网站的所有HTML页面就是一个有待考究的问题了。一般的方法是，定义一个入口...
分类：
其他好文 时间：
2014-07-19 15:13:58
阅读次数：
241
最近，有个朋友说，想在一些页面上获取一些关键性得信息。比如，电话，地址等等。一个个页面去找 又很麻烦。这时候，想起了 何不去用“爬虫”去抓取一些想要得东西。省事，省里。好，今天 我们就讲讲，关于爬虫得一些东西。
这里 自己也是，看了一些关于爬虫得知识，正好，这几日闲来没事。做了一个功能小得爬虫。
这里是使用 java来进行编写得 首先 我们来介绍下。使用得框架，jdk1.6，...
分类：
其他好文 时间：
2014-07-16 10:08:54
阅读次数：
267
我们如果在公司或家里使用网络爬虫去抓取自己索要的一些数据的时候，常常对方的网站有defence机制，会给你的http请求返回500错误，只要是相同IP就请求不到数据，这时候我们只能去重启路由器，这样IP地址会改变，网络爬虫就能正常工作了
下面是通过发送Socket请求来模拟路由器的重启指令:
protected void rebotadsl() {
try {
BufferedO...
分类：
编程语言 时间：
2014-07-14 13:00:50
阅读次数：
274
