一、网络爬虫的定义
网络爬虫，即Web Spider，是一个很形象的名字。
把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。
网络蜘蛛是通过网页的链接地址来寻找网页的。
从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，
然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。
如...
分类：
编程语言 时间：
2014-11-05 00:27:37
阅读次数：
338
1、尽量采用div+css布局
DIV+CSS相比较与表格布局的优势：
1.代码精简
使用DIV+CSS布局，页面代码精简，这一点对XHTML有所了解的都知道。代码精简所带来的直接好处有两点：一是提高蜘蛛爬行效率，能在最短的时间内爬完整个页面，这样对收录
质量有一定好处;二是由于能高效的爬行，就会受到蜘蛛喜欢，这样对收录数量有一定好处。
2.减少因嵌套多而影响蜘蛛爬行的问题...
分类：
Web程序 时间：
2014-10-28 00:53:04
阅读次数：
231
H3巨人术打法：http://163.fm/ZGKi2JT1、开局找腐蚀术，没有直接跪2、巫医、大地环回血3、嘲讽仆从站场，同时吃孢子4、利用食尸鬼吃孢子H2法术德打法：http://163.fm/KN8Hl8c1、扔蜘蛛蛋和石像鬼到最左边，boss会帮忙孵蛋；石像鬼每回合回血2、贴片熔核巨人站场H...
分类：
其他好文 时间：
2014-10-25 20:05:32
阅读次数：
194
题记: 1024,今天是个程序猿的节日 ，哈哈，转为正题，从事了一线网络爬虫开发有近1000天。简单阐述下个人对网络爬虫的理解。提纲： 1：是什么 2：能做什么 3：怎么做 4：综述 1：是什么 wiki释义：网络蜘蛛（Web spider）也叫网络爬虫（Web crawler）...
分类：
其他好文 时间：
2014-10-24 12:24:26
阅读次数：
208
一、网络爬虫的定义网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这...
分类：
编程语言 时间：
2014-10-24 00:11:57
阅读次数：
276
对于很多SEO人员都应该知道内链为皇，外链为王，但是随着百度算法的不断调整、蜘蛛对网站抓取筛选的严格，内链为皇，外链为王并不完全实用一个网站的整体SEO过程。那对于一个网站的成功优化我们要真正去明白和掌握哪些知识呢？下面我就用数据来和大家论证SEO不能只局限于外链和收录。从上面的图我们可以看出百度收...
分类：
其他好文 时间：
2014-10-21 21:11:21
阅读次数：
142
本文由哈利_蜘蛛侠原创，转载请注明出处！有问题欢迎联系2024958085@qq.com
注：我给的电子版是700多页，而实体书是800多页，所以我在提到相关概念的时候，会使用章节号而非页码。同样的情况适合于“龙书”第二版。
上一期的地址：
DX 11游戏编程学习笔记之6
这一章应该是本书最长的一章了，可能也是最难的一章...
404 NOT FOUND!
抱歉，沒有找到您需要的文章！！
什么是 404 Not Found
404页面是网站必备的一个页面，它承载着用户体验与SEO优化的重任。404页面通常为用户访问了网站上不存在或已删除的页面，服务器返回的404错误。如果站长没有设置404页面，会出现死链接，蜘蛛爬行这类网址时，不利于搜索引擎收录。
404 Not Found 由来
据说在第三次科技革...
分类：
其他好文 时间：
2014-10-17 02:53:13
阅读次数：
262
网站建设好了，当然是希望网页被搜索引擎收录的越多越好，但有时候我们也会碰到网站不需要被搜索引擎收录的情况。 比如，你要启用一个新的域名做镜像网站，主要用于PPC 的推广，这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页。因为如果镜像网站也被搜索引擎收录的话，很有可能会影响官网...
分类：
Web程序 时间：
2014-10-14 14:09:48
阅读次数：
207
说明：程序使用http://s.tool.chinaz.com/same此网站查询的结果，使用python简单的实现抓取结果
先随便查询一个结果，抓包分析，如图：
使用python模仿post表单，使用正则表达式匹配结果
代码如下：
# -*- coding: utf-8 -*-
import urllib
import urllib2
import re
import ...
分类：
编程语言 时间：
2014-10-11 04:15:34
阅读次数：
249
