1.没有日志分析系统1.1运维痛点1.运维要不停的查看各种日志。2.故障已经发生了才看日志(时间问题。)3.节点多，日志分散，收集日志成了问题。4.运行日志，错误等日志等，没有规范目录，收集困难。1.2环境痛点1.开发人员不能登陆线上服务器查看详细日志。2.各个系统都有日志，日..
分类：
其他好文 时间：
2016-12-23 19:48:23
阅读次数：
255
ELK是一个日志分析和统计框架，是Elasticsearch、Logstash和Kibana三个核心开源组件的首字母缩写，实践中还需要filebeat、redis配合完成日志的搜集。 组件一览 名称 版本 说明 Elasticsearch 2.3 分布式搜索引擎，存储和搜索日志 Logstash 2 ...
分类：
其他好文 时间：
2016-12-23 18:36:09
阅读次数：
164
ELK+FileBeat+Log4Net搭建日志系统 ElasticSearch配置 默认不需要配置，监听9200端口。直接运行即可 Kibana配置 elasticsearch.url: "http://localhost:9200"默认连接es地址，如果本机测试无需修改。正式环境中连接到对应服务 ...
分类：
Web程序 时间：
2016-12-23 09:39:07
阅读次数：
458
前言 之前项目中做Elasticsearch相关开发的时候，虽然借助了第三方的组件PlainElastic.Net，但是由于当时不熟悉用法，而选择了自己拼接查询语句。例如： 后来慢慢看了下该组件的源代码，想自己简单实现一下，看看到底是什么原理。 分析 先来一个简单的小例子：PlainElastic中 ...
分类：
其他好文 时间：
2016-12-21 20:28:41
阅读次数：
238
摘要 从底层介绍ElasticSearch Shard的内部原理，以及回答为什么使用ElasticSearch有必要了解Lucene的内部工作方式？ 了解ElasticSearch API的代价 构建快速的搜索应用 不要任何时候都commit 何时使用Stored Fields和Document V ...
分类：
Web程序 时间：
2016-12-21 02:25:07
阅读次数：
325
lucene基本概念 索引(Index) 对应一个倒排表，一个检索的基本单位。在lucene中就对应一个目录。 lucene基本概念 段(Segment) 一个索引可以包含多个段，段与段之间是独立的，添加新文档可以生成新的段，不同的段可以合并。段是索引数据存储的单元。 文档(Document) ?文 ...
分类：
Web程序 时间：
2016-12-21 02:19:01
阅读次数：
310
elastic使用lucene建立索引的步骤中，需要文件系统缓存需要同步到磁盘上。（多个segment->commit文件来维护） 当建立历史数据时，并不要求太高的实时性时，可以减小（默认1s）自动刷新时间。 curl -XPOST http://127.0.0.1:9300/logstash-20 ...
分类：
其他好文 时间：
2016-12-20 11:49:42
阅读次数：
162
更新 Update更新操作允许ES获得某个指定的文档，可以通过脚本等操作对该文档进行更新。可以把它看成是先删除再索引的原子操作，只是省略了返回的过程，这样即节省了来回传输的网络流量，也避免了中间时间造成的文档修改冲突。 下面就是更新的例子： 脚本更新 Es支持通过脚本更改文档的信息： 上面就是通过参 ...
分类：
其他好文 时间：
2016-12-17 19:23:01
阅读次数：
684
一、Search Guard 简介 Search Guard 是 Elasticsearch 的安全插件。它为后端系统（如LDAP或Kerberos）提供身份验证和授权，并向Elasticsearch添加审核日志记录和文档/字段级安全性。 Search Guard 所有基本安全功能都是免费的，并且内 ...
分类：
其他好文 时间：
2016-12-17 13:50:32
阅读次数：
298
在今天，读书有时是件“麻烦”事。它需要你付出时间，付出精力，还要付出一份心境。--仅以《Elasticsearch全文检索浅析系列》来祭奠那逝去的…… 使用VS2015创建MVC项目运行之后，发现微软很贴心的生成了一套用户授权验证系统，界面也很漂亮，但是扒拉代码一看，囧……新的membership框 ...
分类：
其他好文 时间：
2016-12-17 11:15:15
阅读次数：
233
