本篇文章在这里只是起一个抛砖引玉的作用。本文主要是讲解了如何使用Java/Python访问网页并获得网页代码、Python模仿浏览器进行访问网页和使用Python进行数据解析。希望我们以本文开始，一步一步解开网络蜘蛛神秘的一面。...
分类：
Web程序 时间：
2015-08-10 20:07:38
阅读次数：
155
在我们写网页的时候，超链接是链接各个页面的桥梁，也是搜索引擎爬虫（spider）收录网站页面的关键，因此，在每个网页中会有许多的超链。 当我们根据需求要打印某个网页时，却发现在带有超链的文字的旁边显示出了超链，这显然不是我们想要的打印效果。今天，一个同行妹妹问我如何解决这个问题，我一时头大，从来没...
分类：
Web程序 时间：
2015-08-10 17:24:52
阅读次数：
924
网络爬虫（Web Crawler, Spider）就是一个在网络上乱爬的机器人。当然它通常并不是一个实体的机器人，因为网络本身也是虚拟的东西，所以这个“机器人”其实也就是一段程序，并且它也不是乱爬，而是有一定目的的，并且在爬行的时候会搜集一些信息。例如 Google 就有一大堆爬虫会在 Intern...
分类：
其他好文 时间：
2015-08-04 20:52:46
阅读次数：
238
package com.mengyao.spider.utils;import java.util.ArrayList;import java.util.HashMap;import java.util.Iterator;import java.util.List;import java.util....
分类：
Web程序 时间：
2015-08-02 15:09:04
阅读次数：
346
有时候经常会用到一些在线手册，比如国内或国外的，有些是访问速度慢，有些是作者直接吧网站关闭了，有些是服务器总是宕机，所以还是全盘克隆到自己服务器比较爽。所
已这里给了一个demo
<?php
class Controller_Spider extends MyYaf_Controller_Base{
function init(){
parent::init();
if(!$...
分类：
Web程序 时间：
2015-08-01 13:02:33
阅读次数：
131
android-charts是一套基于Java和Android开发的图形图表控件. 目前该套图表主要包括以下组件： 网格图(gird chart) 线图(line charts)，包含单线图和多线图 柱状图(stick charts),包含基本柱状图和特殊柱状图 支持显示均线 K线或蜡烛线图(candle stick-chart) 支持显示均线 饼图(pie chart or pizza chart) 包括基本饼图和分割饼图 雷达图或蛛网图(radar chart or spider web chart) ...
分类：
其他好文 时间：
2015-07-31 16:28:49
阅读次数：
242
当Google创始人用python写下他们第一个简陋的爬虫,运行在同样简陋的服务器上的时候;很少有人能够想象,在接下的数十年间,他们是怎样地颠覆了互联网乃至于人类的世界。有网络的地方就有爬虫，爬虫英文名称spider。它是用来抓取网站数据的程序。比如:我们通过一段程序，定期去抓取..
分类：
编程语言 时间：
2015-07-30 15:08:25
阅读次数：
159
我们使用dmoz.org这个网站来作为小抓抓一展身手的对象。首先先要回答一个问题。问：把网站装进爬虫里，总共分几步？答案很简单，四步：新建项目 (Project)：新建一个新的爬虫项目明确目标（Items）：明确你想要抓取的目标制作爬虫（Spider）：制作爬虫开始爬取网页存储内容（Pipeline...
分类：
其他好文 时间：
2015-07-30 00:25:03
阅读次数：
160
Python写的Web spider：
# web spider
# author vince 2015/7/29
import urllib2
import re
# get href content
pattern = '<a(?:\\s+.+?)*?\\s+href=\"([h]{1}[^\"]*?)\"'
t = set("") # collection of url
def...
分类：
编程语言 时间：
2015-07-29 21:29:10
阅读次数：
144
Scrapy 源代码分析系列－1 spider, spidermanager, crawler, cmdline, command分析的源代码版本是0.24.6, url:https://github.com/DiamondStudio/scrapy/blob/0.24.6如github 中Scra...
分类：
编程语言 时间：
2015-07-15 18:50:33
阅读次数：
381
