码迷,mamicode.com
首页 > 其他好文 > 详细

solr相似匹配

时间:2015-05-27 19:20:19      阅读:241      评论:0      收藏:0      [点我收藏+]

标签:solr   hadoop   超人学院   

在我们使用网页搜索时,会注意到每一个结果都包含一个 “相似页面” 链接,单击该链接,就会发布另一个搜索请求,查找出与起初结果类似的文档。Solr 使用 MoreLikeThisComponent(MLT)和 MoreLikeThisHandler 实现了一样的功能。如上所述,MLT 是与标准 SolrRequestHandler 集成在一起的;MoreLikeThisHandler 与 MLT 结合在一起,并添加了一些其他选项,但它要求发布一个单一的请求。我将着重讲述 MLT,因为使用它的可能性更大一些。幸运的是,不需要任何设置就可以查询它,所以您现在就可以开始查询。

  MLT 要求字段被储存或使用检索词向量,检索词向量以一种以文档为中心的方式储存信息。MLT 通过文档的内容来计算文档中关键词语,然后使用原始查询词语和这些新词语创建一个新的查询。提交新查询就会返回其他查询结果。所有这些都可以用检索词向量来完成:只需将 termVectors="true" 添加到 schema.xml 中的 <field> 声明。

MoreLikeThisComponent 参数:

  

参数

  

 说明

  值域

mlt

在查询时,打开/关闭  MoreLikeThisComponent 的布尔值。

true|false

mlt.count

可选。每一个结果要检索的相似文档数。          

> 0

mlt.fl  

用于创建 MLT 查询的字段。               

任何被储存的或含有检索词向量的字段。

mlt.maxqt

可选。查询词语的最大数量。由于长文档可能会有很多关键词语,这样 MLT 查询可能会很大,从而导致反应缓慢或可怕的  TooManyClausesException,该参数只保留关键的词语。

> 0

要想使用匹配相似首先在 solrconfig.xml 中配置 MoreLikeThisHandler

      

        

<requestHandler    name="/mlt" class="solr.MoreLikeThisHandler">  
    
</requestHandler>

    
   

                                 

然后我就可以请求

http://localhost:8080/skyCore/mlt?q=id%3A6F398CCD-2DE0-D3B1-9DD6-D4E532FFC531&mlt.true&mlt.fl=content&wt=xml&indent=true

上面请求的意思查找 id 为 6F398CCD-2DE0-D3B1-9DD6-D4E532FFC531 的 document ,然后返回与此document 在 name 字段上相似的其他 document。需要注意的是 mlt.fl 中的 field 的 termVector=true 才有效果

     

        

<field    name="content" type="text_smartcn" indexed="false"    stored="true" multiValued="false"    termVector="true"/>

    
   

    

使用SolrJ时也同样加入参数就可以

     

        

SolrQuery  query    = new SolrQuery();

   

query.set("qt", "/mlt");

   

query.set("mlt.fl","content");

   

query.set("fl", "id,");

   

query.set("q", "id: 6F398CCD-2DE0-D3B1-9DD6-D4E532FFC531");

   

query.setStart(0);

   

query.setRows(5);

   

QueryResponse     rsp = server.query(query);

   

SolrDocumentList list = rsp.getResults();

    


   

    

  在我们使用网页搜索时,会注意到每一个结果都包含一个 “相似页面” 链接,单击该链接,就会发布另一个搜索请求,查找出与起初结果类似的文档。Solr 使用 MoreLikeThisComponent(MLT)和 MoreLikeThisHandler 实现了一样的功能。如上所述,MLT 是与标准 SolrRequestHandler 集成在一起的;MoreLikeThisHandler 与 MLT 结合在一起,并添加了一些其他选项,但它要求发布一个单一的请求。我将着重讲述 MLT,因为使用它的可能性更大一些。幸运的是,不需要任何设置就可以查询它,所以您现在就可以开始查询。

  MLT 要求字段被储存或使用检索词向量,检索词向量以一种以文档为中心的方式储存信息。MLT 通过文档的内容来计算文档中关键词语,然后使用原始查询词语和这些新词语创建一个新的查询。提交新查询就会返回其他查询结果。所有这些都可以用检索词向量来完成:只需将 termVectors="true" 添加到 schema.xml 中的 <field> 声明。

MoreLikeThisComponent 参数:

  

参数

  

 说明

  值域

mlt

在查询时,打开/关闭  MoreLikeThisComponent 的布尔值。

true|false

mlt.count

可选。每一个结果要检索的相似文档数。          

> 0

mlt.fl  

用于创建 MLT 查询的字段。               

任何被储存的或含有检索词向量的字段。

mlt.maxqt

可选。查询词语的最大数量。由于长文档可能会有很多关键词语,这样 MLT 查询可能会很大,从而导致反应缓慢或可怕的  TooManyClausesException,该参数只保留关键的词语。

> 0

要想使用匹配相似首先在 solrconfig.xml 中配置 MoreLikeThisHandler

      

        

<requestHandler    name="/mlt" class="solr.MoreLikeThisHandler">  
    
</requestHandler>

    
   

                                 

然后我就可以请求

http://localhost:8080/skyCore/mlt?q=id%3A6F398CCD-2DE0-D3B1-9DD6-D4E532FFC531&mlt.true&mlt.fl=content&wt=xml&indent=true

上面请求的意思查找 id 为 6F398CCD-2DE0-D3B1-9DD6-D4E532FFC531 的 document ,然后返回与此document 在 name 字段上相似的其他 document。需要注意的是 mlt.fl 中的 field 的 termVector=true 才有效果

     

        

<field    name="content" type="text_smartcn" indexed="false"    stored="true" multiValued="false"    termVector="true"/>

    
   

    

使用SolrJ时也同样加入参数就可以

     

        

SolrQuery  query    = new SolrQuery();

   

query.set("qt", "/mlt");

   

query.set("mlt.fl","content");

   

query.set("fl", "id,");

   

query.set("q", "id: 6F398CCD-2DE0-D3B1-9DD6-D4E532FFC531");

   

query.setStart(0);

   

query.setRows(5);

   

QueryResponse     rsp = server.query(query);

   

SolrDocumentList list = rsp.getResults();

    

更多精彩内容请关注:http://bbs.superwu.cn

关注超人学院微信二维码:技术分享


solr相似匹配

标签:solr   hadoop   超人学院   

原文地址:http://crxy2013.blog.51cto.com/9922445/1655739

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!