码迷，mamicode.com
首页 > 其他好文 > 详细

solr：入门

时间：2016-02-14 14:05:45      阅读：277      评论：0      收藏：0      [点我收藏+]

标签：

　　Solr是一个高性能的、带有高级特性，比如faceting（arranging search results in columns with numeric counts of key terms）的搜索程序。Solr构建于Lucene之上。Lucene是一个提供索引、查询、拼写检查、关键字高亮和分词技术的Java库。Solr和Lucene都是由Apache Software Foundation管理。

　　Solr搜索服务器提供了ready-to-use搜索平台。本章节将了解Solr、运行Solr、介绍Solr基础架构和特性，包含如下几点：

  • 安装Solr
  • 运行Solr
  • Solr工作原理
  • Solr home目录和配置选项
  • Solr脚本

1.安装Solr

(1)确保Java已安装

java -version

输出

java version "1.8.0_71"
Java(TM) SE Runtime Environment (build 1.8.0_71-b15)
Java HotSpot(TM) 64-Bit Server VM (build 25.71-b15, mixed mode)

则为成功

(2)安装Solr

其实就是解压文件

unzip solr-5.4.1.zip

2.运行Solr

(1)启动服务器

bin/solr start

这将在后台启动服务器，默认在8983端口监听。

bin/solr脚本允许你自定义启动Solr的方式。

脚本帮助

查看如何使用bin/solr脚本

bin/solr -help

输出

Usage: solr COMMAND OPTIONS
       where COMMAND is one of: start, stop, restart, status, healthcheck, create, create_core, create_collection, delete, version

  Standalone server example (start Solr running in the background on port 8984):

    ./solr start -p 8984

  SolrCloud example (start Solr running in SolrCloud mode using localhost:2181 to connect to ZooKeeper, with 1g max heap size and remote Java debug options enabled):

    ./solr start -c -m 1g -z localhost:2181 -a "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=1044"

Pass -help after any COMMAND to see command-specific usage information,
  such as:    ./solr start -help or ./solr stop -help

可以看到有10个命令，查看各个命令用法详情的方法如下。示例：查看启动的用法详情

bin/solr start -help

（2）增加documents

Solr的schema提供了内容如何结构化的方法，但是没有内容谈何结构化。Solr需要输入内容。

bin/post是用来索引文档的命令，使用-help可以看到相关使用信息。bin/post可以post各种类型的内容到Solr上。

bin/post -c fy example/exampledocs/*.xml

（3）查询

现在已经完成了索引，可以查询。最简单的方式是构建一个包含查询参数的URL。示例：查询video

http://localhost:8983/solr/fy/select?q=video

示例：查询video，但是文档只返回ID、name和price列

http://localhost:8983/solr/fy/select?q=video&fl=id,name,price

示例：查询在name field中有black的。如果没有指定field，将搜索默认filed（在schema中设置）

http://localhost:8983/solr/fy/select?q=name:black

可以提供fields范围。示例：查询price在0~400的

http://localhost:8983/solr/fy/select?q=price:[0%20TO%20400]

Faceted browsing是Solr关键特性的其中之一。它允许用户缩小搜索结果。示例：电商网站提供facets通过制造商和价格来缩小搜索结果。

Faceted信息在查询返回包中在第三部分。示例：

http://localhost:8983/solr/fy/select?q=*:*&facet=true&face.field=DistrictName

结果如下

技术分享

facet信息展示了每个DistrictName有多少结果。可以使用这些信息更轻松地缩小查询结果。你可以通过增加过滤条件来过滤结果。

http://localhost:8983/solr/fy/select?q=*:*&facet=true&face.field=DistrictName&facet.query=普陀

3.Solr工作原理

Solr通过以下步骤增加查询的能力：

  1. 定义schema。schema告诉Solr索引的文档内容。Solr的schema是强大、具有伸缩性的，并且允许为应用定制Solr的行为
  2. 部署Solr到应用服务器
  3. 给Solr增加document
  4. 在应用中提供搜索功能

Sharding是一个规模化技术，集群被分为多个逻辑分片（称为shards），以便增大集群中document的规模。发送过来的查询请求被分发到集群的各个shard，再将结果合并返回。另一个技术是增加集群的"Replication Factor"，这允许你增加服务器，在上面部署集群的copies，通过分散请求来应对高并发查询压力。Sharding和Replication不是互斥的，可以同时使用。

4.Solr home目录和配置选项

当Solr运行在应用服务器上时，需要访问home目录。home目录包含重要的配置信息，也是索引存储的地方。以standalone模式和SolrCound模式运行Solr时，home目录的布局是不有一些不同的。
重要部分如下：
Standalone Mode
<solr-home-directory>
　　solr.xml
　　core_name1/
　　　　core.properties
　　　　conf/
　　　　　　confsolrconfig.xml
　　　　　　schema.xml
　　　　data/
　　core_name2/
　　　　core.properties
　　　　conf/
　　　　　　solrconfig.xml
　　　　　　schema.xml
　　　　data/

SolrClound Mode
<solr-home-directory>
　　solr.xml
　　core_name1/
　　　　core.properties
　　　　data/
　　core_name2/
　　　　core.properties
　　　　data/
各个文件作用如下：

  • solr.xml 为Solr服务器实例指定配置选项
  • Per Solr Core
    • core.properties 为每个core指定特殊属性，例如：名称、所属集群、schema位置和其他参数
    • solrconfig.xml 控制更高级行为。例如，你可以指定索引数据的存储目录
    • schema.xml 描述Solr索引的documents。定义field类型和fields。Field类型定义是强大的，并且包含关于Solr如何处理field值和查询值的信息
    • data/ 包含索引文件的目录

注意，SolrCloud示例对于每个core不包括conf目录，因而也没有solrconfig.xml和schema.xml。这是因为配置文件存储于ZooKeeper，因而能在cluster中传播。
如果正在运行内置ZooKeeper的SolrCloud，查看zoo.cfg和zoo.data，分别是ZooKeeper配置和数据文件。

5.Solr脚本

(1)启动和关闭

a.启动和重启

启动和重启命令有很多选项让你运行在SolrCloud模式，使用示例配置，以hostname为开头或者非默认端口，指向本地ZooKeeper。

bin/solr start [options]
bin/solr start -help
bin/solr restart [options]
bin/solr restart -help

当使用重启命令，必须传入当初启动时的所有参数。Solr重启之前将被关闭。如果没有节点正在运行，restart将跳过关闭，直接启动Solr。

可用参数

参数 描述 示例
-a "<string>"

使用JVM参数启动Solr，例如-X。

如果传入以"-D"开头的JVM参数，则可以删除-a选项

 bin/solr start -a "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=1044"
-cloud

如果以SolrCloud模式启动，将启动包含Solr的内置ZooKeeper实例

可简写为-c

 bin/solr start -c
-d <dir> 定义服务器目录，默认值是$SOLR_HOME/server。一般不定义这个选项。通常情况是每个实例使用相同服务器目录并且使用唯一的Solr home目录 bin/solr start -d newServerDir
-e <name>

使用示例配置启动Solr。这些示例用来帮助你更快入门Solr，或者尝试特性。

可用选项有：clound、techproducts、dih、schemaless

 bin/solr start -e schemaless
-f 在前台启动Solr；使用-e选项时不能使用这个选项 bin/solr start -f
-h <hostname> 使用自定义hostname启动Solr，默认值‘localhost‘ bin/solr start -h search.mysolr.com
-m <memory> 使用自定义值作为JVM的最小和最大堆值 bin/solr start -m 1g
-noprompt

无提示，默认完全接受

示例：当使用-cloud时，会有交互式引导你多个选项，如果你想都默认接收，只需要使用这个选项

 bin/solr start -e cloud -noprompt
-p <port> 指定端口 bin/solr start -p 8655
-s <dir>

设置solr.solr.home系统属性。Solr将在该目录下创建core目录。这将允许你在相同host上跑多个实例，使用相同服务器目录，使用-d选项

一旦设置，指定目录需要包含solr.xml文件，除非solr.xml在ZooKeeper中存在，默认值是server/solr

当运行示例（-e）时，该参数将被忽略，因为solr.solr.home取决于哪个示例在跑

 bin/solr start -s newHome
-V 打印冗余信息 bin/solr start -V
-z <zkHost> 使用自定义ZooKeeper connection string启动Solr。该选项只能在-c选项，即SolrCloud模式下使用。如果该选项未提供，Solr将启动内置ZooKeeper实例 bin/solr start -c -z server1:2181,server2:2181

为了强调默认设置是如何起作用的，花点时间了解下面的命令：

bin/solr start
bin/solr start -h localhost -p 8983 -d server

没有必要定义所有选项，因为有些默认就可以了。

b.设置Java系统属性

使用-D给JVM传入属性

示例：设置自动soft-commit频率为3秒

bin/solr start -Dsolr.autoSoftCommit.maxTime=3000

c.SolrCloud模式

bin/solr start -c/cloud

如果指定ZooKeeper连接字符串，例如"-z 192.168.1.4:2181"，Solr将连接到ZooKeeper并加入集群。如果以cloud模式启动，但没有指定-z选项，则Solr启动内置ZooKeeper服务器，坚挺在Solr端口+1000，例如Solr在端口8983，则内置ZooKeeper监听在端口9983

d.使用示例配置运行

bin/solr start -e <name>
  • cloud：在一个机器上启动1-4节点的SolrCloud集群。
  • techproducts：以standalone模式启动。由于没有SolrCloud，也没有启动schemaless模式，因此fields必须显式地定义在schema.xml中。配置文件的目录在$SOLR_HOME/server/solr/configsets/sample_techproducts_configs
  • dih：以standalone模式启动。使用DataImportHandler(DIH)和一些dataconfig.xml文件
  • schemaless：以standalone模式启动。使用托管schema（将在后文讲解），提供最小化配置。Solr将运行在Schemaless模式，Solr将在运行时创建fields并猜测field类型。配置文件在$SOLR_HOME/server/solr/configsets/data_driver_schema.configs

注意：运行在前台（-f）选项在使用-e选项失效，因为脚本需要执行额外任务。

e.停止

stop命令向正在运行的Solr节点发送STOP请求，该命令等待5s让Solr顺滑停止，之后会强制杀进程（kill -9）

bin/solr stop [options]
bin/solr stop -help

可用参数

参数 描述 示例
-p <port> 在指定端口关闭Solr。如果正在运行多个实例或者SolrCloud模式，你需要分别指定端口关闭或者使用-all选项 bin/solr stop -p 8983
-all 关闭所有运行的Solr bin/solr stop -all
-k <key> Stop key用来防止误关闭，默认值是"solrrocks" bin/solr stop -k solrrocks

 

 

 

(2)查看信息

a.版本

bin/solr version

b.状态

status命令行展示基本的JSON格式的信息。status命令行使用SOLR-PID-DIR环境变量来定位Solr进程号文件来找到运行的Solr实例，SOLR-PID-DIR默认值是bin目录

bin/solr status

输出

Found 1 Solr nodes:

Solr process 975 running on port 8983
{
  "solr_home":"/Users/hs/package/solr/server/solr",
  "version":"5.4.1 1725212 - jpountz - 2016-01-18 11:51:45",
  "startTime":"2016-02-14T02:06:05.35Z",
  "uptime":"0 days, 0 hours, 0 minutes, 13 seconds",
  "memory":"36 MB (%7.3) of 490.7 MB"}

c.健康检测

前提是SolrCloud模式启动。健康检测报告提供关于对于所有shards的每个replica的状态，包括提交文档的个数和当前状态

bin/solr healthcheck [options]
bin/solr healthcheck -help

可用参数

参数 描述 示例
-c <collection> 运行健康监测的集群对象名称 bin/solr healthcheck -c gettingstarted
-z <zkhost> ZooKeeper connection string，默认值是localhost:8983。如果不是8983，需要指定端口，默认是Solr端口+1000 bin/solr healthcheck -z localhost:2181

下面是一个健康检测示例

./solr healthcheck -c gettingstarted -z localhost:9983

输出为

{
  "collection":"gettingstarted",
  "status":"healthy",
  "numDocs":0,
  "numShards":2,
  "shards":[
    {
      "shard":"shard1",
      "status":"healthy",
      "replicas":[
        {
          "name":"core_node2",
          "url":"http://10.8.204.89:8983/solr/gettingstarted_shard1_replica1/",
          "numDocs":0,
          "status":"active",
          "uptime":"0 days, 0 hours, 4 minutes, 27 seconds",
          "memory":"85.6 MB (%17.5) of 490.7 MB",
          "leader":true},
        {
          "name":"core_node3",
          "url":"http://10.8.204.89:7574/solr/gettingstarted_shard1_replica2/",
          "numDocs":0,
          "status":"active",
          "uptime":"0 days, 0 hours, 4 minutes, 21 seconds",
          "memory":"41.4 MB (%8.4) of 490.7 MB"}]},
    {
      "shard":"shard2",
      "status":"healthy",
      "replicas":[
        {
          "name":"core_node1",
          "url":"http://10.8.204.89:8983/solr/gettingstarted_shard2_replica1/",
          "numDocs":0,
          "status":"active",
          "uptime":"0 days, 0 hours, 4 minutes, 27 seconds",
          "memory":"85.9 MB (%17.5) of 490.7 MB",
          "leader":true},
        {
          "name":"core_node4",
          "url":"http://10.8.204.89:7574/solr/gettingstarted_shard2_replica2/",
          "numDocs":0,
          "status":"active",
          "uptime":"0 days, 0 hours, 4 minutes, 21 seconds",
          "memory":"41.4 MB (%8.4) of 490.7 MB"}]}]}

(3)Collections和Cores

a.创建

注意：执行create命令的用户要和启动Solr的用户一致

create命令行会检测到Solr的运行状态（standalone或SolrCloud），根据状态创建core或collection

bin/solr create options
bin/solr create -help

可用参数

参数 描述 示例
-c <name> 创建core或collection的名称 bin/solr create -c mycollection
-d <confdir> 配置目录，默认值是data_driven_schema_configs bin/solr create -d basic_configs
-n <configName> 配置文件名。默认和core或collection同名 bin/solr create -n basic
-p <port> 指定Solr端口。当运行多个standalone实例时需要指定 bin/solr create -p 8983

-s <shards>

-shards

 分割collection为shards的数量，默认1。前提是SolrCloud模式 bin/solr create -s 2

-rf <replicas>

-replicationFactor

 集群中每个document的拷贝数量，默认值1（没有replication） bin/solr create -rf 2

 

 

 

 

 

 

 

(4)配置目录和SolrCloud

在创建SolrCloud集群前，使用的配置目录必须上传到ZooKeeper。需要你做主要决定的是在ZooKeeper中的配置目录是否应该分享到多个集群。下面通过示例来了解配置目录是如何在SolrCloud中工作的。

首先，如果没有提供-d或-n选项，默认配置（$SOLR_HOME/server/solr/configsets/data_driven_schema_cinfigs/conf）被上传到ZooKeeper，使用和集群相同的名称。例如，下面的命令将导致data-driven_schema_configs配置被上传到ZooKeeper

bin/solr create -c contacts

如果创建另一个集群

bin/solr create -c contacts2

另一个data_driven_schema_configs的拷贝将被上传到ZooKeeper，在/configs/contacts2下。对contacts集群做的变化不会影响contacts2。简而言之，默认为每个collection创建独一无二的配置目录拷贝。

使用-n选项可以覆盖ZooKeeper的配置目录。示例

bin/solr create -c logs -d basic_configs -n basic

将上传server/solr/configsets/basic_configs/conf目录到ZooKeeper作为/configs/basic

注意，我们使用-d选项指定不同的配置目录。Solr提供了多个内置配置，在server/solr/configsets下。然而，你也可以提供你自己的配置目录路径。示例：

bin/solr create -c mycoll -d /tmp/myconfigs

将上传/tmp/myconfigs到ZooKeeper目录/configs/mycoll下。再次重申，配置目录的名称和集群一致，除非使用-n指定

其他集群可以共享配置，使用-n选项。示例：创建一个共享之前创建的basic配置的新集群

bin/solr create -c logs2 -n basic

a.Data-driven schema和共享配置

data_driven_schema_configs将转变为索引数据。因此，建议不要共享配置，除非确定所有集群应该继承一个集群的索引变化。

b.Delete

delete命令行检测到Solr的运行模式，delete core或collection

bin/solr delete [options]
bin/solr delete -help

如果在SolrCloud模式，delete命令行检查配置目录是否有其他集群使用，如果没有，也将从ZooKeeper中被删除。

可用参数

参数 描述 示例
-c <name> core/collection名称 bin/solr delete -c mycoll
-deleteConfig <trueIfalse>

从ZooKeeper删除配置目录，默认值为true

如果配置目录被其他集群使用，指定true也不会被删除

 bin/solr delete -deleteConfig false
-p <port> 多个standalone实例时有用 bin/solr delete -p 8983

solr：入门

标签：

原文地址：http://www.cnblogs.com/studyhs/p/5181808.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！