在上一篇文章中主要写了关于爬虫过程的分析，下面是代码的实现，完整代码在：https://github.com/pythonsite/spider items中的代码主要是我们要爬取的字段的定义 这些字段的是在用户详细信息里找到的，如下图所示，这里一共有58个字段，可以详细研究每个字段代表的意思： 关 ...
分类：
编程语言 时间：
2017-07-24 13:29:36
阅读次数：
286
企业搭建网站之后，想要更多人了解企业的网站信息，则需要进行推广，让企业产品信息在更多平台进行曝光，目前比较有效的推广方式便是SEM竞价推广以及SEO优化的方式，今天就跟大家介绍一下一些SEO优化的专业术语，让大家有一个更加全面的了解。 1、网页蜘蛛（Spider） 网页蜘蛛（又被称为网络爬虫，网络机 ...
分类：
Web程序 时间：
2017-07-22 16:41:26
阅读次数：
222
# -*- coding: utf-8 -*- import scrapy from douban_top250.items import DoubanTop250Item class MovieSpider(scrapy.Spider): name = 'movie' header = { "Us... ...
分类：
其他好文 时间：
2017-07-21 19:58:42
阅读次数：
184
爬取的思路 首先我们应该找到一个账号，这个账号被关注的人和关注的人都相对比较多的，就是下图中金字塔顶端的人，然后通过爬取这个账号的信息后，再爬取他关注的人和被关注的人的账号信息，然后爬取被关注人的账号信息和被关注信息的关注列表，爬取这些用户的信息，通过这种递归的方式从而爬取整个知乎的所有的账户信息。 ...
分类：
编程语言 时间：
2017-07-21 10:50:06
阅读次数：
272
这篇文章主要是对的scrapy命令行使用的一个介绍 创建爬虫项目 scrapy startproject 项目名例子如下： 这个时候爬虫的目录结构就已经创建完成了,目录结构如下： 接着我们按照提示可以生成一个spider,这里以百度作为例子,生成spider的命令格式为;scrapy genspid ...
分类：
编程语言 时间：
2017-07-15 16:44:09
阅读次数：
370
这里是通过爬取伯乐在线的全部文章为例子，让自己先对scrapy进行一个整理的理解 该例子中的详细代码会放到我的github地址：https://github.com/pythonsite/spider/tree/master/jobboleSpider 注：这个文章并不会对详细的用法进行讲解，是为了 ...
分类：
编程语言 时间：
2017-07-14 23:58:02
阅读次数：
875
在爬取数据时有时候有些文件数据需要爬取下载下来使用多线程下载可以让程序跑的更快点。 scrapy中有个扩展可以使用扩展模块来实现下载。 在自己的spider中加入 custom_settings 在要下载的时候添加 ...
分类：
编程语言 时间：
2017-07-12 23:36:37
阅读次数：
376
网络爬虫的定义 网络爬虫（Web Spider。又被称为网页蜘蛛。网络机器人，又称为网页追逐者），是一种依照一定的规则，自己主动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自己主动索引。模拟程序或者蠕虫。假设把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。 网 ...
分类：
编程语言 时间：
2017-07-10 12:01:54
阅读次数：
332
Unity特效资源优化小技巧 https://baijiahao.baidu.com/po/feed/share?wfr=spider&for=pc&context=%7B%22sourceFrom%22%3A%22bjh%22%2C%22nid%22%3A%22news_3503093625163 ...
分类：
其他好文 时间：
2017-07-07 10:07:37
阅读次数：
141
1、URL检测脚本[root@sxunscripts]#vicheck_url.sh
[root@sxunscripts]#catcheck_url.sh
#!/bin/sh
./etc/init.d/functions
functionusage(){
echo$"usage:$0url"
exit1
}
functioncheck_url(){
wget--spider-q-o/dev/null--tries=1-T5$1
if[$?-eq0]
then
action"$1isyes."/bin..
分类：
Web程序 时间：
2017-07-06 18:45:02
阅读次数：
152
