码迷,mamicode.com
首页 > 其他好文 > 详细

沪商财富爬虫源码

时间:2016-06-08 15:20:53      阅读:135      评论:0      收藏:0      [点我收藏+]

标签:

使用javascript编写的爬虫源码,用于爬取沪商财富网上的商品信息。

代码粘贴到神箭手云爬虫平台(http://www.shenjianshou.cn/)上就可以直接跑了,

不需要安装编译环境。要爬取其他网站,可以更改源码即可。

 

代码执行具体步骤点这里

代码详细讲解点这里

更多源码下载点这里

 

var configs = {
    domains: ["www.hushangcaifu.com"],
    scanUrls: ["http://www.hushangcaifu.com/invest/index1.html"],
    contentUrlRegexes: ["http://www\\.hushangcaifu\\.com/invest/a\\d{4}\\.html"],
    helperUrlRegexes: ["http://www\\.hushangcaifu\\.com/invest/index\\d+\\.html"],
    fields: [
        {
            name: "title",
            selector: "//div[contains(@class,‘product-content-top-left-top‘)]/h3/text()",
            required: true 
        },
        {
            name: "user_name",
            selector: "//div[contains(@class,‘product-content-top-left-top‘)]/p/span/text()"
        },
        {
            name: "total_money",
            selector:"//div[contains(@class,‘product-content-top-left-middle‘)]/div[1]/h4/text()"
        },
        {
            name: "project_time",
            selector:"//div[contains(@class,‘product-content-top-left-middle‘)]/div[2]/h4/text()"
        },
        {
            name: "annual_return",
            selector:"//div[contains(@class,‘product-content-top-left-middle‘)]/div[3]/h4/text()"
        },
        {
            name: "return_method",
            selector:"//div[contains(@class,‘product-content-top-left-middle‘)]/div[4]/h4/text()"
        }
        
    ]
};

var crawler = new Crawler(configs);
crawler.start();

 

沪商财富爬虫源码

标签:

原文地址:http://www.cnblogs.com/datafactory/p/5569818.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!