码迷,mamicode.com
首页 > 其他好文 > 详细

初次接触scrapy框架

时间:2017-07-03 23:49:39      阅读:192      评论:0      收藏:0      [点我收藏+]

标签:写入内容   font   新建   file   tor   adt   ges   install   ide   

初次接触这个框架,先订个小目标,抓取QQ首页,然后存入记事本。

安装框架(http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html)

创建一个项目,项目根目录输入

scrapy startproject tutorial

在spiders文件夹下面新建一个qq_spider.py,写入内容如下:

import scrapy

class DmozSpider(scrapy.Spider):
    name = "dmoz"
    allowed_domains = ["qq.com"]
    start_urls = [
        "http://www.qq.com/"
    ]

    def parse(self, response):
        filename = response.url.split("/")[-2]
        with open(filename + ".txt", wb) as f:
            f.write(response.body)

项目根目录输入命令:

scrapy crawl dmoz

抓取到的QQ首页的页面:

技术分享

 

初次接触scrapy框架

标签:写入内容   font   新建   file   tor   adt   ges   install   ide   

原文地址:http://www.cnblogs.com/MiWhite/p/7113388.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!