码迷,mamicode.com
首页 > Web开发 > 详细

nutch2.1抓取中文网站

时间:2014-05-20 19:17:55      阅读:539      评论:0      收藏:0      [点我收藏+]

标签:local   中文网页   mysql   

nutch添加中文网站抓取功能。

1、中文网页抓取

   A、调整mysql配置,避免存入mysql的中文出现乱码。修改 ${APACHE_NUTCH_HOME} /runtime/local/conf/gora.properties


###############################

# MySQL properties            #

###############################

gora.sqlstore.jdbc.driver=com.mysql.jdbc.Driver

gora.sqlstore.jdbc.url=jdbc:mysql://10.10.11.252:3306/nutch? useUnicode=true&characterEncoding=utf8&autoReconnect=true&zeroDateTimeBehavior=convertToNull

gora.sqlstore.jdbc.user=devuser

gora.sqlstore.jdbc.password=devuser

   B、修改 ${APACHE_NUTCH_HOME} /runtime/local/conf/nutch-site.xml文件

       <property>

<name>http.accept.language</name>

<value>ja-jp, en-us, zh-cn,en-gb,en;q=0.7,*;q=0.3</value>

<description>Value of the “Accept-Language” request header field.

  This allows selecting non-English language as default one to retrieve.

  It is a useful setting for search engines build for certain national group.

</description>

   </property>


nutch2.1抓取中文网站,布布扣,bubuko.com

nutch2.1抓取中文网站

标签:local   中文网页   mysql   

原文地址:http://8917152.blog.51cto.com/8907152/1413052

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!