亿级规模的Elasticsearch优化实战 Elasticsearch 的基本信息大致如图所示，这里就不具体介绍了。 本次分享主要包含两个方面的实战经验：索引性能和查询性能。 一. 索引性能（Index Performance） 首先要考虑的是，索引性能是否有必要做优化？ 索引速度提高与否？主要是 ...
分类：
其他好文 时间：
2016-11-24 18:15:09
阅读次数：
206
当我用jmeter来测试elasticsearch性能的时候，发生过两种性质的内存溢出。 1. index 由于数据流过大，内存使用超过jmeter默认的上限，就溢出了。 用记事本打开jmeter.bat文件，里面修改如下： 2. bulk 由于我当时一次bulk装了1000条请求，而且还有变参是从 ...
分类：
其他好文 时间：
2016-11-24 15:29:52
阅读次数：
242
今天开源了一个百度云网盘爬虫项目，地址是https://github.com/callmelanmao/yunshare。百度云分享爬虫项目github上有好几个这样的开源项目，但是都只提供了爬虫部分，这个项目在爬虫的基础上还增加了保存数据，建立elasticsearch索引的模块，可以用在实际生产环境中，不过web..
分类：
其他好文 时间：
2016-11-24 12:07:08
阅读次数：
148
一、概念 1.1 官方文档 以下总结自ElasticSearch的官方文档以及自己的一些实践，有兴趣的可以直接阅读官方文档： https://www.elastic.co/guide/en/elasticsearch/guide/current/index.html 1.2 简介 ElasticSe ...
分类：
其他好文 时间：
2016-11-24 08:30:37
阅读次数：
306
为什么要学习架构? Elasticsearch的一些架构设计，对我们做性能调优、故障处理，具有非常重要的影响。下面将从Elasticsearch的准实时索引的实现、自动发现、rounting和replica的读写过程，shard的allocate控制 使文本可以被搜索？ 在传统的数据库中，一个字段存 ...
分类：
其他好文 时间：
2016-11-24 08:28:52
阅读次数：
200
ELK其实并不是一款软件，而是一整套解决方案，是三个开源软件Elasticsearch,Logstash和Kibana。 Elasticsearch是一个实时的分布式搜索和分析引擎，它可以用于全文搜索以及分析。它是一个建立在全文搜索引擎ApacheLucene基础上的搜索引擎，便用java语言编写。 ...
分类：
其他好文 时间：
2016-11-24 06:51:05
阅读次数：
295
一、关于搜索引擎 各位知道，搜索程序一般由索引链及搜索组件组成。 索引链功能的实现需要按照几个独立的步骤依次完成：检索原始内容、根据原始内容来创建对应的文档、对创建的文档进行索引。 搜索组件用于接收用户的查询请求并返回相应结果，一般由用户接口、构建可编程查询语句的方法、查询语句执行引擎及结果展示组件 ...
分类：
其他好文 时间：
2016-11-24 06:22:21
阅读次数：
330
来自官网，版本为2.3 不能用root启动，新加一个用户，然后测试启动； 若没有错误表示成功； 正常使用肯定需要后台启动（可选指定集群名和节点名）； 下面三个命令依次为，检查集群状况、检查节点状况、显示所有的索引（刚开始是没有索引的） 创建一个索引 customer（可选，因为直接插入数据的时候若索 ...
分类：
其他好文 时间：
2016-11-23 19:41:11
阅读次数：
187
本文使用的elasticsearch版本：1.7.3 推荐几款比较常用的elasticsearch插件 1.集群监控插件 bigdesk 2.集群资源查看和查询插件 kopf 3.调试查询 inquisitor 4.类似sql语法的查询插件 elasticsearch-sql （安装命令 plugi ...
分类：
其他好文 时间：
2016-11-23 16:27:31
阅读次数：
259
一、搭建环境 操作系统：Win7 ElasticSearch:1.73 Java JDK:1.7 二、搭建操作 1.安装Java JDK,然后配置系统环境变量，新建CLASS_PATH（jre所在目录 【.;D:\Program Files\Java\jre7\lib】）和JAVA_HOME(D:\ ...
分类：
其他好文 时间：
2016-11-23 13:02:11
阅读次数：
365
