码迷,mamicode.com
首页 > 其他好文 > 详细

sorl入门

时间:2017-01-04 23:30:16      阅读:1449      评论:0      收藏:0      [点我收藏+]

标签:conf   htm   tle   接下来   odi   sdn   top   使用   osi   

本教程是从别人的基础上借鉴整理的

Solr是一个独立的企业级搜索应用服务器,它对外提供API接口。用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引(solr生成倒排索引,数据库生成的索引是二叉树索引,效率差距很大);也可以通过Http Get操作提出查找请求,并得到XML格式的返回结果。Solr是一个类似于Google或者Bing的全文检索引擎, Solr是与搜索引擎优化(SEO)相关联的。很多公司也使用elasticsearch作为搜索引擎。 
  

一、solr安装

准备:tomcat7.0版本,solr5.3.0版本 
目前网络上对solr3.x和4.x的安装介绍比较多,这里使用新的5.3.1版本进行安装介绍。 
1、下载tomcat和solr压缩包并解压; 
2、将 solr 压缩包中 solr-5.3.0\server\solr-webapp\文件夹下有个webapp文件夹,将之复制到Tomcat\webapps\目录下,文件夹名改成solr ; 
3、将 solr 压缩包中 solr-5.3.0\server\lib\ext 中的 jar 全部复制到 Tomcat\ webapps\solr\WEB-INF\lib 目录中; 
4、将 solr 压缩包中 solr-5.3.0/ server/resources /log4j.properties 复制到Tomcat\ webapps\solr\WEB-INF\lib 目录中; 
5、将 solr 压缩包中 solr-5.3.0/server/solr 目录复制到计算机某个目录下,如D:\testsolr\solr_home(solr创建的core到时会存放在该目录下); 
6、打开Tomcat/webapps/solr/WEB-INF下的web.xml,找到如下配置内容(初始状态下该内容是被注释掉的):

<env-entry><env-entry-name>solr/home</env-entry-name><env-entry-value>D:/testsolr/solr_home/solr</env-entry-value><env-entry-type>java.lang.String</env-entry-type></env-entry>

 

将 env-entry-value 中的内容改成你的solr_home路径(第5步的文件),这里是D:/testsolr/solr_home/solr; 
7、保存关闭,而后启动tomcat,在浏览器输入http://localhost:8080/solr即可出现Solr的管理界面,如下: 
技术分享

二、创建第一个core

1、将solr-5.3.0/dist中的solr-dataimporthandler、solr-dataimporthandler-extras的jar包copy到tomcat\webapps\solr\WEB-INF\lib下; 
2、在D:\testsolr\solr_home\solr下创建my_core文件夹(名称与下图的instanceDir一致,建议下图中的name也和该文件夹名一致); 
3、在my_core文件夹下创建data和conf文件夹; 
4、将solr-5.3.0\example\example-DIH\solr\solr\conf所有文件和文件夹都copy到D:\testsolr\solr_home\solr\my_core\conf下; 
5、启动tomcat,访问solr,创建core,如下 
技术分享 
如此,新增core即可完成; 
6、可以在“core selector”这里查询和编辑你的solr相关信息;

三、solr分词

 

这里使用的是mmseg4j 分词,该jar包网上下载的普遍有问题,不能正常使用。经测试,该版本可以,下载地址:http://download.csdn.net/detail/u012385190/9550326
1、将文件里的jar包拷贝到Tomcat\webapps\solr\WEB-INF\lib下; 
2、在 D:\testsolr\solr_home\solr\ 目录下新建一个 dic 文件夹 , 把 新下载的词库(data文件夹下)拷贝到 dic 目录下; 
3、在 D:\testsolr\solr_home\solr\my_core\conf\schema.xml 文件的里添加如下:

<fieldtype name="textComplex" class="solr.TextField" positionIncrementGap="100"><analyzer><tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="D:/testsolr/solr_home/solr/dic"></tokenizer></analyzer></fieldtype><fieldtype name="textMaxWord" class="solr.TextField" positionIncrementGap="100"><analyzer><tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="maxword" dicPath="D:/testsolr/solr_home/solr/dic"></tokenizer></analyzer></fieldtype><fieldtype name="textSimple" class="solr.TextField" positionIncrementGap="100"><analyzer><tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="D:/testsolr/solr_home/solr/dic"></tokenizer></analyzer></fieldtype>

这里不同的name选用不同的分词方式; 
其中dicPath属性的值为第二步的地址,不要写错哦; 
4、在 D:\testsolr\solr_home\solr\my_core\conf\schema.xml 文件里添加如下 :

    <field name="name" type="textMaxWord" indexed="true" stored="true" multiValued="true" />
    <field name="description" type="textMaxWord" indexed="true" stored="true" multiValued="true" />
  • 1
  • 2
  • 1
  • 2

5、开启服务如下进行分词测试,如下图分词: 
技术分享 
如下图所示root字段是没有分词的结果: 
技术分享 
在过程中出现如下错误,是因为字段重复,在schema.xml中将另一个content字段的配置注释掉即可(name同理)。 
技术分享
6、如此,分词ok

四、solr连接数据库

 

接下来进行solr连接数据库,生成索引,以及查询方法。 
数据库建表语句:

CREATE TABLE `test_person` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(50) DEFAULT NULL COMMENT ‘姓名‘,
  `description` varchar(500) DEFAULT NULL COMMENT ‘简介‘,
  PRIMARY KEY (`id`)
);

insert into test_person(name,description) values(‘周星驰‘,‘香港著名喜剧演员‘);
insert into test_person(name,description) values(‘周润发‘,‘香港著名演员‘);
insert into test_person(name,description) values(‘周节能‘,‘台湾著名歌手,号称音乐天王‘);
insert into test_person(name,description) values(‘成龙‘,‘香港著名动作演员‘);
insert into test_person(name,description) values(‘山本一木‘,‘日本鬼子‘);
insert into test_person(name,description) values(‘仓木麻衣‘,‘日本歌手‘);
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

1、将数据库驱动包放入solr项目工程中(我用的MySQL,使用jar包mysql-connector-java-5.1.18-bin.jar); 
2、在自己创建的core实例的conf文件中进行数据配置(我的是D:\testsolr\solr_home\solr\my_core\conf\solr-data-config.xml),覆盖内容如下(数据库表自己根据配置自己建):

<?xml version="1.0" encoding="UTF-8"?>
<dataConfig>
    <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/test" user="root" password="jhp123" />
    <document name="messages">
        <entity name="message" transformer="ClobTransformer" query="select * from test_peoson where name like ‘%${dataimporter.request.name}%‘">
            <field column="id" name="id" />
            <field column="name" name="name" />
            <field column="description" name="description" />
        </entity>
    </document>
</dataConfig>

url=”jdbc:mysql://localhost:3306/test” user=”root” password=”123” 这里配置了 mysql 的连接路径 , 用户名 , 密码

<field column="name" name="name" />  这里配置的是数据库里要索引的字段, 注意name是在分词的第4 步配置的,同时只有这样匹配的字段最终solr才会查询显示出来,所以需要用到的字段必须在该文件中<field column="***" name="***" />配置才可以;
  • 1
  • 1

3、在D:\testsolr\solr_home\solr\my_core\conf\schema.xml文件中添加如下字段信息:

<field name="name" type="textMaxWord" indexed="true" stored="true" multiValued="true" />
    <field name="description" type="textMaxWord" indexed="true" stored="true" multiValued="true" />
  • 1
  • 2
  • 1
  • 2

注意这里的配置是数据库里需要用到的字段,在分词时这两个字段已配置,故此步可省略。其中id字段已存。 
4、在 D:\testsolr\solr_home\solr\my_core\conf 目录下的 solrconfig.xml 文件里 , 添加如下代码 :

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
    <lst name="defaults">
      <str name="config">D:/testsolr/solr_home/solr/my_core/conf/solr-data-config.xml</str> 
    </lst>
  </requestHandler>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 1
  • 2
  • 3
  • 4
  • 5

D:/testsolr/solr_home/solr/my_core/conf/solr-data-config.xml为上一步的配置文件地址; 
5、把本地下载解压的 solr文件里dist 目录下的 solr-dataimporthandler.jar 和 solr-dataimporthandler-extras.jar 复制到Tomcat \webapps\solr\WEB-INF\lib 目录下; 
6、如图打开solr,把数据库(其实也可以用 http/file 资源)中的记录放到索引中。现大概看下步骤: 
技术分享

7、测试查询: 
技术分享 
8、solr查询参数详解,如下图所示 
技术分享 
如图所示对图中的参数进行解释: 
qt :(query type)指定那个类型来处理查询请求,一般不用指定,默认是standard; 
q : 查询的关键字,此参数最为重要,例如图中表示查询所有字段中含有“周星驰”三个字中的至少某一个字的数据; 
fq :(filter query)过虑查询,提供一个可选的筛选器查询。返回在q查询符合结果中同时符合的fq条件的查询结果,例如:q=id:1&fq=sort:[1 TO 5],找关键字id为1 的,并且sort是1到5之间的; 
sort : 排序方式,例如id desc 表示按照 “id” 降序; 
rows :指定返回结果最多有多少条记录,默认值为 10,配合start实现分页; 
fl : 指定返回哪些字段,用逗号或空格分隔,注意:字段区分大小写,例如,fl= id,title,sort,默认返回数据配置文件中file的字段; 
df 默认的查询字段,一般默认指定。比如df为name,q为周星驰,则搜索name中含有周星驰”三个字中的至少某一个字的数据; 
wt:返回类型,有json、XML等; 
hl:高亮显示; 
facet:分组,其中facet.query表示所有的索引中含有该内容的数据有多少条,facet.field和facet.prefix需要结合,表示字段facet.field含有facet.prefix的内容共有多少条;

solr查询参数具体参考:http://www.cnblogs.com/zhangweizhong/p/5056884.html

 

solr在Java中的使用:http://blog.csdn.net/u012385190/article/details/53115546

Solr是一个独立的企业级搜索应用服务器,它对外提供API接口。用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引(solr生成倒排索引,数据库生成的索引是二叉树索引,效率差距很大);也可以通过Http Get操作提出查找请求,并得到XML格式的返回结果。Solr是一个类似于Google或者Bing的全文检索引擎, Solr是与搜索引擎优化(SEO)相关联的。很多公司也使用elasticsearch作为搜索引擎。 
  

一、solr安装

准备:tomcat7.0版本,solr5.3.0版本 
目前网络上对solr3.x和4.x的安装介绍比较多,这里使用新的5.3.1版本进行安装介绍。 
1、下载tomcat和solr压缩包并解压; 
2、将 solr 压缩包中 solr-5.3.0\server\solr-webapp\文件夹下有个webapp文件夹,将之复制到Tomcat\webapps\目录下,文件夹名改成solr ; 
3、将 solr 压缩包中 solr-5.3.0\server\lib\ext 中的 jar 全部复制到 Tomcat\ webapps\solr\WEB-INF\lib 目录中; 
4、将 solr 压缩包中 solr-5.3.0/ server/resources /log4j.properties 复制到Tomcat\ webapps\solr\WEB-INF\lib 目录中; 
5、将 solr 压缩包中 solr-5.3.0/server/solr 目录复制到计算机某个目录下,如D:\testsolr\solr_home(solr创建的core到时会存放在该目录下); 
6、打开Tomcat/webapps/solr/WEB-INF下的web.xml,找到如下配置内容(初始状态下该内容是被注释掉的):

 <env-entry>
       <env-entry-name>solr/home</env-entry-name>
       <env-entry-value>D:/testsolr/solr_home/solr</env-entry-value>
       <env-entry-type>java.lang.String</env-entry-type>
    </env-entry>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 1
  • 2
  • 3
  • 4
  • 5

将 env-entry-value 中的内容改成你的solr_home路径(第5步的文件),这里是D:/testsolr/solr_home/solr; 
7、保存关闭,而后启动tomcat,在浏览器输入http://localhost:8080/solr即可出现Solr的管理界面,如下: 
技术分享

二、创建第一个core

1、将solr-5.3.0/dist中的solr-dataimporthandler、solr-dataimporthandler-extras的jar包copy到tomcat\webapps\solr\WEB-INF\lib下; 
2、在D:\testsolr\solr_home\solr下创建my_core文件夹(名称与下图的instanceDir一致,建议下图中的name也和该文件夹名一致); 
3、在my_core文件夹下创建data和conf文件夹; 
4、将solr-5.3.0\example\example-DIH\solr\solr\conf所有文件和文件夹都copy到D:\testsolr\solr_home\solr\my_core\conf下; 
5、启动tomcat,访问solr,创建core,如下 
技术分享 
如此,新增core即可完成; 
6、可以在“core selector”这里查询和编辑你的solr相关信息;

三、solr分词

这里使用的是mmseg4j 分词,该jar包网上下载的普遍有问题,不能正常使用。经测试,该版本可以,下载地址:http://download.csdn.net/detail/u012385190/9550326
1、将文件里的jar包拷贝到Tomcat\webapps\solr\WEB-INF\lib下; 
2、在 D:\testsolr\solr_home\solr\ 目录下新建一个 dic 文件夹 , 把 新下载的词库(data文件夹下)拷贝到 dic 目录下; 
3、在 D:\testsolr\solr_home\solr\my_core\conf\schema.xml 文件的里添加如下:

<fieldtype name="textComplex" class="solr.TextField" positionIncrementGap="100">
        <analyzer>
            <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="D:/testsolr/solr_home/solr/dic">
            </tokenizer>
        </analyzer>
    </fieldtype>
    <fieldtype name="textMaxWord" class="solr.TextField" positionIncrementGap="100">
        <analyzer>
            <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="maxword" dicPath="D:/testsolr/solr_home/solr/dic">
            </tokenizer>
        </analyzer>
    </fieldtype>
    <fieldtype name="textSimple" class="solr.TextField" positionIncrementGap="100">
        <analyzer>
            <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="D:/testsolr/solr_home/solr/dic">
            </tokenizer>
        </analyzer>
    </fieldtype>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18

这里不同的name选用不同的分词方式; 
其中dicPath属性的值为第二步的地址,不要写错哦; 
4、在 D:\testsolr\solr_home\solr\my_core\conf\schema.xml 文件里添加如下 :

    <field name="name" type="textMaxWord" indexed="true" stored="true" multiValued="true" />
    <field name="description" type="textMaxWord" indexed="true" stored="true" multiValued="true" />
  • 1
  • 2
  • 1
  • 2

5、开启服务如下进行分词测试,如下图分词: 
技术分享 
如下图所示root字段是没有分词的结果: 
技术分享 
在过程中出现如下错误,是因为字段重复,在schema.xml中将另一个content字段的配置注释掉即可(name同理)。 
技术分享
6、如此,分词ok

四、solr连接数据库

接下来进行solr连接数据库,生成索引,以及查询方法。 
数据库建表语句:

CREATE TABLE `test_person` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(50) DEFAULT NULL COMMENT ‘姓名‘,
  `description` varchar(500) DEFAULT NULL COMMENT ‘简介‘,
  PRIMARY KEY (`id`)
);

insert into test_person(name,description) values(‘周星驰‘,‘香港著名喜剧演员‘);
insert into test_person(name,description) values(‘周润发‘,‘香港著名演员‘);
insert into test_person(name,description) values(‘周节能‘,‘台湾著名歌手,号称音乐天王‘);
insert into test_person(name,description) values(‘成龙‘,‘香港著名动作演员‘);
insert into test_person(name,description) values(‘山本一木‘,‘日本鬼子‘);
insert into test_person(name,description) values(‘仓木麻衣‘,‘日本歌手‘);
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

1、将数据库驱动包放入solr项目工程中(我用的MySQL,使用jar包mysql-connector-java-5.1.18-bin.jar); 
2、在自己创建的core实例的conf文件中进行数据配置(我的是D:\testsolr\solr_home\solr\my_core\conf\solr-data-config.xml),覆盖内容如下(数据库表自己根据配置自己建):

<?xml version="1.0" encoding="UTF-8"?>
<dataConfig>
    <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/test" user="root" password="jhp123" />
    <document name="messages">
        <entity name="message" transformer="ClobTransformer" query="select * from test_peoson where name like ‘%${dataimporter.request.name}%‘">
            <field column="id" name="id" />
            <field column="name" name="name" />
            <field column="description" name="description" />
        </entity>
    </document>
</dataConfig>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

url=”jdbc:mysql://localhost:3306/test” user=”root” password=”123” 这里配置了 mysql 的连接路径 , 用户名 , 密码

<field column="name" name="name" />  这里配置的是数据库里要索引的字段, 注意name是在分词的第4 步配置的,同时只有这样匹配的字段最终solr才会查询显示出来,所以需要用到的字段必须在该文件中<field column="***" name="***" />配置才可以;
  • 1
  • 1

3、在D:\testsolr\solr_home\solr\my_core\conf\schema.xml文件中添加如下字段信息:

<field name="name" type="textMaxWord" indexed="true" stored="true" multiValued="true" />
    <field name="description" type="textMaxWord" indexed="true" stored="true" multiValued="true" />
  • 1
  • 2
  • 1
  • 2

注意这里的配置是数据库里需要用到的字段,在分词时这两个字段已配置,故此步可省略。其中id字段已存。 
4、在 D:\testsolr\solr_home\solr\my_core\conf 目录下的 solrconfig.xml 文件里 , 添加如下代码 :

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
    <lst name="defaults">
      <str name="config">D:/testsolr/solr_home/solr/my_core/conf/solr-data-config.xml</str> 
    </lst>
  </requestHandler>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 1
  • 2
  • 3
  • 4
  • 5

D:/testsolr/solr_home/solr/my_core/conf/solr-data-config.xml为上一步的配置文件地址; 
5、把本地下载解压的 solr文件里dist 目录下的 solr-dataimporthandler.jar 和 solr-dataimporthandler-extras.jar 复制到Tomcat \webapps\solr\WEB-INF\lib 目录下; 
6、如图打开solr,把数据库(其实也可以用 http/file 资源)中的记录放到索引中。现大概看下步骤: 
技术分享

7、测试查询: 
技术分享 
8、solr查询参数详解,如下图所示 
技术分享 
如图所示对图中的参数进行解释: 
qt :(query type)指定那个类型来处理查询请求,一般不用指定,默认是standard; 
q : 查询的关键字,此参数最为重要,例如图中表示查询所有字段中含有“周星驰”三个字中的至少某一个字的数据; 
fq :(filter query)过虑查询,提供一个可选的筛选器查询。返回在q查询符合结果中同时符合的fq条件的查询结果,例如:q=id:1&fq=sort:[1 TO 5],找关键字id为1 的,并且sort是1到5之间的; 
sort : 排序方式,例如id desc 表示按照 “id” 降序; 
rows :指定返回结果最多有多少条记录,默认值为 10,配合start实现分页; 
fl : 指定返回哪些字段,用逗号或空格分隔,注意:字段区分大小写,例如,fl= id,title,sort,默认返回数据配置文件中file的字段; 
df 默认的查询字段,一般默认指定。比如df为name,q为周星驰,则搜索name中含有周星驰”三个字中的至少某一个字的数据; 
wt:返回类型,有json、XML等; 
hl:高亮显示; 
facet:分组,其中facet.query表示所有的索引中含有该内容的数据有多少条,facet.field和facet.prefix需要结合,表示字段facet.field含有facet.prefix的内容共有多少条;

solr查询参数具体参考:http://www.cnblogs.com/zhangweizhong/p/5056884.html

solr在Java中的使用:http://blog.csdn.net/u012385190/article/details/53115546

sorl入门

标签:conf   htm   tle   接下来   odi   sdn   top   使用   osi   

原文地址:http://www.cnblogs.com/juochiu/p/6250425.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!