码迷,mamicode.com
首页 > 数据库 > 详细

使用mongodb作为数据源搭建solr搜索引擎之创建同步索引实现

时间:2015-03-08 00:08:10      阅读:303      评论:0      收藏:0      [点我收藏+]

标签:mongodb   solr   搜索引擎   

以下程序使用solr作为搜索模块,搜索关键的第一步是创建索引。索引的产生我们一般是通过数据库中的数据作为数据源。但是数据库中的数据是时时变化的,数据库的数据变化了怎么同步索引到solr呢。以下程序就是解决这个问题。mongo数据库发生变化后通过使用github上开源的项目mongo-connector作为工具,该项目可以时时检测数据库的改变从而和solr配合实现同步索引的目的。


一:配置solr


使用的solr版本是solr 4.5.1

1)解压zip
2)将d:/solr-4.5.1/example/webapps下的solr.war拷贝到tomcat–>weapps中
3)新建文件夹d:/sorl_home,将d:/solr-4.5.1/example/solr目录拷贝至d:/sorl_home中
4)启动tomcat,此时tomcat会把solr.war进行解压,生成一个solr文件夹;停止tomcat,删除solr.war。

运行tomcat后访问:http://localhost:8080/solr

5)修改schema.xml配置文件中的id为_id:

技术分享

二:配置mongodb


1)开启oplog,还需要在Mongo中启动一个replica set

我的MONGO_HOME为 D:\mongodb

    目录树如下:

    -rs  (d)

    |----db  (d)  mongo数据文件文件存放的目录

      |----rs1  (d)  rs1实例数据文件存放的目录

      |----rs2  (d)  rs2实例数据文件存放的目录

    |----log  (d)  log文件存放的目录

      |----rs1.log  (f)  rs1实例的log文件

      |----rs2.log  (f)  rs2实例的log文件

    |----mongod-rs1.bat  rs1实例的启动脚本

    |----mongod-rs2.bat  rs2实例的启动脚本


mongod-rs1.bat内容如下:    

    D:\MongoDB\mongod --port 27001 --oplogSize 100 --dbpath db\rs1 --logpath log\rs1.log --replSet rs/127.0.0.1:27002 --journal
    pause

    mongod-rs2.bat内容如下:   

    D:\MongoDB\mongod --port 27002 --oplogSize 100 --dbpath db\rs2 --logpath log\rs2.log --replSet rs/127.0.0.1:27001 --journal
    pause

2)执行两个脚本,启动两个mongod实例

3)但这时它们还没组成一个replica set,还需要进行配置,开启mongo,连上localhost:27001,也就是实例rs1

技术分享

配置完成后:
查看rs.initiate(config)    rs.status()

三:启动mongo-connector

github地址(https://github.com/10gen-labs/mongo-connector)

D:\项目资料\dht\mongo-connector-master\mongo-connector-master\mongo_connector>py
thon connector.py -m localhost:27001 -t http://localhost:8080/solr/collection1 -
o oplog_progress.txt -n test.foo -u _id -d ./doc_managers/solr_doc_manager.py

python connector.py -m localhost:27001 -t http://localhost:8080/solr/collection1 -o oplog_progress.txt -n torrentinfo-db.torrent_info -u _id -d ./doc_managers/solr_doc_manager.py

注意其中-n参数为要进行索引的数据库表名称

四:测试

在mongo中添加一条记录:

 db.foo.insert({title:‘hello world‘})

在mongo-connector中会输出:

2014-07-26 23:18:42,881 - INFO - Finished ‘http://localhost:8080/solr/collection
1/update/?commit=false‘ (post) with body ‘u‘<add><do‘ in 295.228 seconds.

在solr中进行查询即可:

技术分享

使用mongodb作为数据源搭建solr搜索引擎之创建同步索引实现

标签:mongodb   solr   搜索引擎   

原文地址:http://blog.csdn.net/liuchangqing123/article/details/44124251

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!