Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索），您可以使用它。说到搜索，logstash带有一个web界面，搜索和展示所有日志。kibana 也是一个开源和免费的工具，他可以帮助您汇总、分析和搜索重要数据日志并提供友好的web界面。他可以为 L ...
分类：
其他好文 时间：
2017-01-09 12:53:12
阅读次数：
336
Elasticsearch 是个开源分布式搜索引擎它的特点有分布式零配置自动发现索引自动分片索引副本机制 restful 风格接口多数据源自动搜索负载等。 Logstash 是一个完全开源的工具他可以对你的日志进行收集、分析并将其存储供以后使用如搜索。 kibana 也是一个开源和免费的工具他 Ki ...
分类：
其他好文 时间：
2017-01-09 12:30:20
阅读次数：
515
有赞大数据实践: 敏捷型数据仓库的构建及其应用有赞大数据实践: 敏捷型数据平台的构建及其应用前言数据仓库设计总体架构数据仓库实例基础指标层分层的好处数仓工具数据仓库与数据分析即席查询系统多维分析系统搜索分析系统固定报表系统数据仓库在信息检索中的应用小结前言互联网公司一般发展迅速. 一方面, 业务飞速... ...
分类：
其他好文 时间：
2017-01-05 18:20:48
阅读次数：
272
早上收到502报警，设置的报警规则是502错误两分钟超过500就报警。 排障流程: 日志分析系统报障-->查看日志系统日志-->nginx错误日志-->php错误日志-->php-fpm.log日志 在日志分析系统里面看到产生502报警的机器只有一台xxx.xxx.xxx.170,客户端IP也只有一 ...
分类：
其他好文 时间：
2016-12-29 11:16:26
阅读次数：
305
我们用ELK做日志分析系统，Elasticsearch1.7.3运行了近一年，最近已经将一个集群升级到ES5.1.1，但是遇到问题比较多。所以将另一个集群升级到社区推荐比较稳定的2.4.2。为了便于升级管理，操作都是用ansible来统一执行。一：停止monit守护进程#集群的所有logstash、es进程都是..
分类：
其他好文 时间：
2016-12-26 19:22:50
阅读次数：
342
1.没有日志分析系统1.1运维痛点1.运维要不停的查看各种日志。2.故障已经发生了才看日志(时间问题。)3.节点多，日志分散，收集日志成了问题。4.运行日志，错误等日志等，没有规范目录，收集困难。1.2环境痛点1.开发人员不能登陆线上服务器查看详细日志。2.各个系统都有日志，日..
分类：
其他好文 时间：
2016-12-23 19:48:23
阅读次数：
255
问题现象: linux操作系统中的/var/spool/clientmqueue/目录下存在大量文件。 原因分析： 系统中有用户开启了cron，而cron中执行的程序有输出内容，输出内容会以邮件形式发给cron的用户，而sendmail没有启动所以就产生了这些文件； 解决办法: 1、 将cronta ...
分类：
其他好文 时间：
2016-12-19 21:09:47
阅读次数：
179
一、简介1、组成ELK由Elasticsearch、Logstash和Kibana三部分组件组成；Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，它可以对你的日..
分类：
其他好文 时间：
2016-12-15 15:03:55
阅读次数：
481
首先声明，此文是属于纯粹收藏文，感觉讲的很不错。 本文介绍了Facebook公司数据分析系统中的RCFile存储结构，该结构集行存储和列存储的优点于一身，在MapReduce环境下的大规模数据分析中扮演重要角色。 Facebook曾在2010 ICDE（IEEE International Conf ...
分类：
其他好文 时间：
2016-12-14 18:32:37
阅读次数：
255
1.csv作为数据中介,速度最快,但是如果某个字段的内容有逗号,整个都乱套了, 还是用excel2007格式比较好. 2.导入表的字段,最好设为nvarchar,可以为空.类型转换以后再说 3.数据清洗,比如客户数据,性别,地址. 第二步：格式内容清洗 如果数据是由系统日志而来，那么通常在格式和内容 ...
分类：
其他好文 时间：
2016-12-09 19:23:29
阅读次数：
276
