nutch http file 截断问题

问题：

列表页预计抽取 355+6 但实际只抽取到220条链接. 原因是nutch对http下载的内容的长度进行了限制。

解决方案：
这里将这个属性扩大10倍。

vim conf/nutch-defalut.xml 
修改http.content.limit属性，将其由65536 改为 655360 
<property>
  <name>http.content.limit</name>
  <value>655360</value>  -------- 这里变大一些吧，有的html确实挺大的。
  <description>The length limit for downloaded content using the http
  protocol, in bytes. If this value is nonnegative (>=0), content longer
  than it will be truncated; otherwise, no truncation at all. Do not
  confuse this setting with the file.content.limit setting.
  </description>
</property>



//div[@class=‘com_page‘]/ul/li/span/a/@href
extract 355 outlinks
//div[@class=‘page_link‘]/a/@href
extract 6 outlinks
found 361 outlinks in http://www.ly.com/news/scenery.html

修改后正常抽取