如果我们想展示hive中的数据,则可以使用Kibana展示工具,而在这之前需要把hive表数据导入到es中,这就用到了ES-Hadoop插件.
插件安装:
下载地址：https://github.com/elasticsearch/elasticsearch-hadoop#readme
add上面的jar包到hive
hive –e “add jar elasticsear...
分类：
其他好文 时间：
2016-05-06 16:26:46
阅读次数：
1039
首先说明，各工具的安装就不在这说明了，网上很多，可自行查看。
我们在这里用实例说明各个工具的配置以及最后展示的效果。
假如我们有一批tracklog日志需要用ELK实时展示出来：
一、收集日志，我们使用flume工具
在日志服务器端布置agent发往收集collect，配置如下：
agent（可多个）
agent.sources = s1
agent.channels...
分类：
Web程序 时间：
2016-05-06 16:24:34
阅读次数：
1001
ELK就是一套完整的日志分析系统 ELK=Logstash+Elasticsearch+Kibana 统一官网https://www.elastic.co/products ELK模块说明 Logstash 作用：用于处理传入的日志，负责收集、过滤和写出日志 Logstash分为三个组件input， ...
分类：
其他好文 时间：
2016-04-29 21:57:50
阅读次数：
215
http://www.tuicool.com/articles/QFvARfr
开源实时日志分析ELK平台部署
版本：elasticsearch-2.3.2
logstash-2.3.2
kibana-4.5.0
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配...
分类：
其他好文 时间：
2016-04-29 15:04:07
阅读次数：
176
以kibana为例 以下为skibana名称的脚本内容 #!/bin/bash #chkconfig: 2345 80 90 #description:kibana kibana="/usr/mysoft/kibana-4.4.1-linux-x64/bin/kibana" $kibana # da... ...
分类：
系统相关 时间：
2016-04-29 14:26:12
阅读次数：
258
一下是我在单位对haproxy进行日志分析的一整套流程我们一直都是处在维护es集群的配置，并没有把一整套流程包括收集端的代码，全部自己搞定一次，而且线上收集日志的时候我们一般都用的logstash，但是业界很多人都说logstash不管是性能上还有稳定性上都不是很好，logstash的优点..
分类：
其他好文 时间：
2016-04-14 18:11:11
阅读次数：
1629
kibana4一般打开默认只显示最近15分钟的数据，如果没有，则画面是没有东西的。可以通过设置长的时间跨度，让之前的数据都显示出来。方法：打开kibana界面，选择【setting】选择【setting】下的【Advance】前一个星期到现在，可以写成now-1w(1w代表1week的意思)或者是now-7d
分类：
其他好文 时间：
2016-04-13 09:49:29
阅读次数：
383
一 前言 ElasticiSearch 简介 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎 ...
分类：
其他好文 时间：
2016-04-12 12:25:48
阅读次数：
430
简介 Elasticsearch是一个分布式的、可伸缩的、实时搜索和分析引擎，简称ES。Elasticsearch、Logstash、Kibana构成ELK stack，从数据采集到数据分析处理以及最后的数据可视化，为很多数据场景提供了稳定的解决方案。 图1：es是什么？ 现今有很多公司采用elas ...
分类：
其他好文 时间：
2016-04-09 10:31:10
阅读次数：
149
最近利用ELK做一套日志分析平台，但kibana并不能满足需求，因此需要对kibana做二次开发，搭建windows环境时遇到的各种问题,查阅了比较多的资料，发现教程都比较零散，最后通过几天的摸索，将问题最终解决，下面做一个汇总： 1、首先就是kibana4.4.2的nodejs必须是4.3.2的版 ...
分类：
Web程序 时间：
2016-03-30 19:26:22
阅读次数：
718
