码迷,mamicode.com
首页 > Web开发 > 详细

DotnetSpider (二) Downloader的设置 Request自定义数据字典

时间:2018-04-28 21:06:01      阅读:230      评论:0      收藏:0      [点我收藏+]

标签:strong   连接   rom   select   tar   sele   cti   bubuko   tle   

本篇主要分享自定义Downloader和Request信息,实现自定义请求内容,及将自定义内容存储。

 

   ** 温馨提示:如需转载本文,请注明内容出处。**

 

     本文连接:http://www.cnblogs.com/grom/p/8968905.html 

 

接上一篇,在原项目的基础上进行改造,为EntitySpider设置Downloader。

技术分享图片

 

自定义Downloader类:

public class AtzucheDownloader : DotnetSpider.Core.Downloader.BaseDownloader
{
  protected override Page DowloadContent(Request request, ISpider spider)
  {
    var site = spider.Site;
    request.Extras = new Dictionary<string, dynamic>();
    request.Extras.Add("Date", DateTime.Now.ToString("yyyy-MM-dd"));
    Page page = new Page(request);
    return new DotnetSpider.Core.Downloader.HttpClientDownloader().Download(request,spider);
  }
}

注释为:

技术分享图片

 

     这里的数据字典可以在选择器中使用SelectorType.Enviroment来使用

  技术分享图片

  如图所示,Url为Request自带Key,Date就是我们上面设置的属性了,通过这种方法,达到了在数据库内插入一列自定义数据,我这里的作用是记录抓取日期。

  结果:

  技术分享图片

  本次的分享就到这里,谢谢。。。

 

 

 

DotnetSpider (二) Downloader的设置 Request自定义数据字典

标签:strong   连接   rom   select   tar   sele   cti   bubuko   tle   

原文地址:https://www.cnblogs.com/grom/p/8968905.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!