上项目的时候,遇见一次需求,需要把在线的其中一个collection里面的数据迁移到另外一个collection下,于是就百度了看到好多文章,其中大部分都是使用导入的方法,没有找到在线数据的迁移方法。于是写了python脚本,分享出来。思路:collection数据量比较大,所以一次性操作所有数据太大,于是分段执行操作。先分段按1000条数据量进行查询,处理成json数据把处理后的json数据发送
分类:
编程语言 时间:
2019-09-04 09:39:34
阅读次数:
78
老大:这个项目需要用到搜索引擎,小李你去学习一下。 小李:喳! 小李:以前用过的搜索引擎是solr4.7,那已经是两年前使用的了不知道现在有没有更好的解决方案了呢? 小李打开了google,百度,bing一阵巴拉巴拉...... 小李:唔~适合项目的搜索引擎有elasticsearch,solr先分 ...
分类:
其他好文 时间:
2019-09-03 16:40:59
阅读次数:
128
有关Lucene的问题(4):影响Lucene对文档打分的四种方式 在索引阶段设置Document Boost和Field Boost,存储在(.nrm)文件中。 如果希望某些文档和某些域比其他的域更重要,如果此文档和此域包含所要查询的词则应该得分较高,则可以在索引阶段设定文档的boost和域的bo ...
分类:
Web程序 时间:
2019-09-03 16:24:46
阅读次数:
128
今日工作:继续学习学长的资料,发现他的代码相比普通的搜索软件多了一些细节 可以加以学习并为我所用。 明日工作:完成文件内容导入数据库,完成solr复杂条件查询代码的编写。 今日小结:多多上网查询资料并努力消化会有很大帮助。 <!--StartFragment --> ...
分类:
其他好文 时间:
2019-09-01 21:45:26
阅读次数:
82
今日完成: 解决了solr不能启动的问题 找到了错误原因,查询了许多相关资料 solrJ配置的尝试以及老师下发相关资料的学习 明日计划: 尝试建立文本数据库,配置完成solrJ,学习相关网课 心得体会: 解决bug要从控制台寻找相关信息效率才会高起来 ...
分类:
其他好文 时间:
2019-09-01 16:38:27
阅读次数:
85
一、Lucene相关基础概念 定义:一个简易的工具包,实现文件搜索的功能,支持中文,关键字,多条件查询,凡是文件名或文件内容包含的都查出来。 数据分类:结构化数据(固定格式或有限长度的数据)和非结构化数据(不定长或无固定格式的数据) PS:lucene是搜索引擎的底层实现,solr实际上是对luce ...
分类:
Web程序 时间:
2019-09-01 01:42:57
阅读次数:
158
今日完成:solrJ实现增删改查的功能全部完成,下载gitlab,使用java分别读取CDEF盘的文件名并显示在后台,继续看网课学习solr 明日计划:试着建立一个数据库,将所有读取的文件名导入到数据库之中,完善solrJ和maven功能的使用,修改查询的页面 心得体会:网课有很多资料不分享导致查询 ...
分类:
其他好文 时间:
2019-08-26 20:48:03
阅读次数:
95
今日工作:完成tomcat和solr集成,实现用tomcat启动solr 了解如何导入数据 明日目标:添加包含所有本地文件的数据库 ...
分类:
其他好文 时间:
2019-08-24 20:48:51
阅读次数:
59
Dubbo 阿里框架 ZooKeeper顾名思意:动物园管理员 它是拿来管大象(Hadoop)、蜜蜂(Hive)、小猪(Pig)的管理员, Apache Hbase和Apache Solr以及阿里的Dubbo等项目中都采用到了Zookeeper 。 一句话:ZooKeeper是一个分布式协调技术、高 ...
分类:
其他好文 时间:
2019-08-24 11:27:40
阅读次数:
87
1、什么是SolrCloud SolrCloud(solr 云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使用SolrCloud来满足这 ...
分类:
其他好文 时间:
2019-08-23 13:13:47
阅读次数:
78