最近在做日志分析这块儿，要使用 Logstash+Elasticsearch+Kibana 实现日志的导入、过滤及可视化管理，官方文档写的不够详细，网上的文章大多要么是针对Linux系统的用法，要么就是抄袭别人的配置大都没法运行。费了很大劲才搞定了这仨东西，写一篇用法心得，废话不多说，进入主题。
首先，你的电脑上要装Java 的JDK环境，要使用 Logstash+Elastic...
1、 概述Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见，这些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。 这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。传统的日志分析系统提供...
分类：
其他好文 时间：
2015-07-07 19:16:09
阅读次数：
169
最近写纯技术的文章比较少，主要是确实觉得没什么好些的，CURD写多了，也没意思。由于这两年的经历，觉得程序员不应该太过局限于技术，特别是天朝的程序员。更应该注重视野的拓展和思维方法的培养。因为天朝的程序员上升的路径有限，而带点管理的岗位都需要其它学科的支持，比如心理学等。而项目经理，产品经理，系统分析，系统架构CTO这些岗位，都需要有比较宽广的视野、开放的思维等软实力。而培养软实力，掌握必要的心理...
分类：
其他好文 时间：
2015-07-06 21:47:16
阅读次数：
194
Pinot 是一个实时分布式的 OLAP 数据存储和分析系统。LinkedIn 使用它实现低延迟可伸缩的实时分析。Pinot 从离线数据源（包括 Hadoop 和各类文件）和在线数据源（如 Kafka）中攫取数据进行分析。Pinot 被设计是可以进行水平扩展的。...
分类：
其他好文 时间：
2015-07-03 17:35:04
阅读次数：
284
分析工具分析 AIX 和 Linux 性能的免费工具，nmon 工具可以帮助在一个屏幕上显示所有重要的性能优化信息，并动态地对其进行更新。这个高效的工具可以工作于任何哑屏幕、telnet 会话、甚至拨号线路。另外，它并不会消耗大量的 CPU 周期，通常低于百分之二。在更新的计算机上，其 CPU 使用...
分类：
系统相关 时间：
2015-07-02 09:54:38
阅读次数：
253
在系统维护的过程中，随时可能有需要查看 CPU 使用率内存使用情况的需要，尤其是涉及到JVM，程序调优的情况，并根据相应信息分析系统状况的需要。
top命令
top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。运行 top 命令后，CPU 使用状态会以全屏的方式显示，并且会处在对话的模式 -- 用基于 top 的命令，可以控制...
分类：
系统相关 时间：
2015-06-29 10:02:33
阅读次数：
243
在系统维护的过程中，随时可能有需要查看 CPU 使用率，并根据相应信息分析系统状况的需要。在 CentOS 中，可以通过 top 命令来查看 CPU 使用状况。运行 top 命令后，CPU 使用状态会以全屏的方式显示，并且会处在对...
分类：
系统相关 时间：
2015-06-25 12:37:28
阅读次数：
140
这几天研究了一家美国的大数据公司1010data，它在产品白皮书中提出了新一代数据仓库的概念（NEXT-GENERATION DATA DISCOVERY），相对于第一代数据仓库，具有如下一些特征：l用户可以针对任何问题进行分析和查询，也就是说，分析系统要提供更加友好的操作体验，更加明细的数据粒度；...
分类：
其他好文 时间：
2015-06-22 19:21:02
阅读次数：
159
本文是《Android内核开发》系列的第八篇文章，本文主要关注如何分析Android系统的启动log，学会通过搜索重要的TAG标签，找到Android启动过程中的重要节点。要学会分析系统的启动log信息，首先得了解Android系统的启动过程，建议先阅读《Android内核开发：图解Android系统的启动..
分类：
移动开发 时间：
2015-06-18 01:59:27
阅读次数：
2032
logstash（1.4.2）是一个不错的日志监控与分析工具，数据通过logstash使用后端的ElasticSearch（1.1.1）集群完成数据索引，以供后续的查询、分析使用。版本必须保持兼容否则报一下错误 Upgrade?...
分类：
其他好文 时间：
2015-06-09 14:14:10
阅读次数：
400
