ELK+FileBeat+Log4Net搭建日志系统 ElasticSearch配置 默认不需要配置，监听9200端口。直接运行即可 Kibana配置 elasticsearch.url: "http://localhost:9200"默认连接es地址，如果本机测试无需修改。正式环境中连接到对应服务 ...
分类：
Web程序 时间：
2016-12-23 09:39:07
阅读次数：
458
前言 之前项目中做Elasticsearch相关开发的时候，虽然借助了第三方的组件PlainElastic.Net，但是由于当时不熟悉用法，而选择了自己拼接查询语句。例如： 后来慢慢看了下该组件的源代码，想自己简单实现一下，看看到底是什么原理。 分析 先来一个简单的小例子：PlainElastic中 ...
分类：
其他好文 时间：
2016-12-21 20:28:41
阅读次数：
238
摘要 从底层介绍ElasticSearch Shard的内部原理，以及回答为什么使用ElasticSearch有必要了解Lucene的内部工作方式？ 了解ElasticSearch API的代价 构建快速的搜索应用 不要任何时候都commit 何时使用Stored Fields和Document V ...
分类：
Web程序 时间：
2016-12-21 02:25:07
阅读次数：
325
lucene基本概念 索引(Index) 对应一个倒排表，一个检索的基本单位。在lucene中就对应一个目录。 lucene基本概念 段(Segment) 一个索引可以包含多个段，段与段之间是独立的，添加新文档可以生成新的段，不同的段可以合并。段是索引数据存储的单元。 文档(Document) ?文 ...
分类：
Web程序 时间：
2016-12-21 02:19:01
阅读次数：
310
elastic使用lucene建立索引的步骤中，需要文件系统缓存需要同步到磁盘上。（多个segment->commit文件来维护） 当建立历史数据时，并不要求太高的实时性时，可以减小（默认1s）自动刷新时间。 curl -XPOST http://127.0.0.1:9300/logstash-20 ...
分类：
其他好文 时间：
2016-12-20 11:49:42
阅读次数：
162
最近Hue+Solr 方案原型验证有了一些进展。正好也收到了Google的大数据专家Sam的来件询问进展，我答复如下： Sam, 你好。 已经把Kafka＋flume＋solr的实时索引搭建起来了， 现在用实时事件统计的场景在测试数据(当前方案为kafka storm mysql)，solr现在数据... ...
分类：
其他好文 时间：
2016-12-19 21:36:08
阅读次数：
383
更新 Update更新操作允许ES获得某个指定的文档，可以通过脚本等操作对该文档进行更新。可以把它看成是先删除再索引的原子操作，只是省略了返回的过程，这样即节省了来回传输的网络流量，也避免了中间时间造成的文档修改冲突。 下面就是更新的例子： 脚本更新 Es支持通过脚本更改文档的信息： 上面就是通过参 ...
分类：
其他好文 时间：
2016-12-17 19:23:01
阅读次数：
684
一、Search Guard 简介 Search Guard 是 Elasticsearch 的安全插件。它为后端系统（如LDAP或Kerberos）提供身份验证和授权，并向Elasticsearch添加审核日志记录和文档/字段级安全性。 Search Guard 所有基本安全功能都是免费的，并且内 ...
分类：
其他好文 时间：
2016-12-17 13:50:32
阅读次数：
298
我们通过Logstash收集的Nginx Access log中已经包含了客户端IP的数据（remote_addr），但是只有这个IP还不够，要在Kibana的显示请求来源的地理位置还需要借助GeoIP数据库来实现。GeoIP 是最常见的免费 IP 地址归类查询库，同时也有收费版可以采购。GeoIP ...
分类：
其他好文 时间：
2016-12-17 13:47:31
阅读次数：
356
在今天，读书有时是件“麻烦”事。它需要你付出时间，付出精力，还要付出一份心境。--仅以《Elasticsearch全文检索浅析系列》来祭奠那逝去的…… 使用VS2015创建MVC项目运行之后，发现微软很贴心的生成了一套用户授权验证系统，界面也很漂亮，但是扒拉代码一看，囧……新的membership框 ...
分类：
其他好文 时间：
2016-12-17 11:15:15
阅读次数：
233
