标签:null track ddc span art code 方式 自己 pip
为了实现和维护并发抓取的属性信息提供线程安全的事务请求。TransactionRequest是一个抽象类自己不能设置Processor,却须要实现 TransactionCallBack接口。TransactionRequest是个复合的BasicRequest。他能够将多个PageRequest、BinaryRequest甚至TransactionRequest 自己的对象加入到child集合中,在下载过程中首先下载TransactionRequest中的全部childRequest。每一个childRequest下载完毕后使用notify方式逐步向上通知。 直到全部的child下载完毕TransactionRequest回调 TransactionCallBack的callBack方法通知业务层这个TransactionRequest下载完毕。
public Pipeline getPipeline()
public void setPipeline(Pipeline pipeline)
public BasicRequest addAttribute(java.lang.String attribute, java.lang.Object value)
BasicRequest
addAttribute
在类中 BasicRequest
public java.lang.Object getAttribute(java.lang.String attribute)
BasicRequest
getAttribute
在类中 BasicRequest
public void addChildRequest(BasicRequest request)
request
- public java.util.Iterator<BasicRequest> iteratorChildRequests()
public void notify(int hashcode)
BasicRequest
notify
在类中 BasicRequest
hashcode
- 实际Request的hashCodepublic void checkComplete()
GuozhongCrawler系列教程 (5) TransactionRequest具体解释
标签:null track ddc span art code 方式 自己 pip
原文地址:http://www.cnblogs.com/tlnshuju/p/6946387.html