来源:解决手机客户端实时跟踪调试问题.主要说明:主要用于调试收集多终端相关日志信息作用.现在仅限局域网.使用外网青保证映射正确.如.一个APP多个终端同时使用.测试问题的体现可以使用此软件进行定位处理.软件服务端使用线程池可保证大数据量下的稳定性.理论上可接受任何给予socket的信息交互程序.下面...
分类：
移动开发 时间：
2014-12-03 18:59:23
阅读次数：
190
1.???? 传统架构 1.1. Rsync方式 说明： 在生产环境上部署rsync传输脚本并设置定时，按天或按小时将日志传输到日志收集服务器 ? 1） 优点 对生产服务器和日志收集服务器造成的压力较小 数据较精确，且可以比...
分类：
其他好文 时间：
2014-11-28 16:29:46
阅读次数：
486
2年前在蓝汛的时候管理的一个CDN节点,因某些特殊原因,没有采用蓝汛标准的系统管理方法...为了解决日志收集的问题,自己写了一个shell并发的小脚本....有时日志传输会出现一些问题,会产生一些日志堆积,有时上千个~...单进程传输效率实在太底下了..就写了这么一个脚本...主要并发..
分类：
Web程序 时间：
2014-11-26 06:50:16
阅读次数：
191
美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部分架构和设计，将主要着眼于日志收集系...
分类：
Web程序 时间：
2014-11-18 11:44:44
阅读次数：
312
在典型的大数据解决方案里，除了以ODPS这样的离线分布式计算引擎为核心，周边还需要日志收集、开发IDE、工作流调度、数据质量监控、BI报表等等一系列配套机制。因此ODPS用户往往还会对SLS和DPC等服务感兴趣。 先说SLS（简单日志服务），这是阿里云提供的针对日志收集、存储、查询和分析的云服务。用...
分类：
其他好文 时间：
2014-11-12 21:08:16
阅读次数：
402
rsyslog是日志收集工具，现在很多Linux都自带rsyslog，用其替换掉syslog。如何安装rsyslog就不讲了，大概讲下原理，然后讲logstash的相关配置。
rsyslog本身有一个配置文件 /etc/rsyslog.conf，里面定义了日志文件，以及相应保存的地址，以下述语句为例：
local7.*...
分类：
其他好文 时间：
2014-11-06 11:02:08
阅读次数：
207
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储，Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库，查询页面的数据都从这个分布式数据库中的一个表中获
取，根据应用程序的业务不同，查询不同的HBase表。实现了下面几大功能：
1 数据采集、转换和存储。正如上面介绍...
分类：
其他好文 时间：
2014-11-05 10:55:34
阅读次数：
182
这三样东西分别作用是：日志收集、索引与搜索、可视化展现l logstash 这张架构图可以看出logstash只是collect和index的地方，运行时传入一个.conf文件，配置分三部分:input ,filter,output。l redis redis在这里是作为日志收集与索引之间解耦...
分类：
其他好文 时间：
2014-10-28 17:19:54
阅读次数：
812
前言系统一大，就会拆分成多个独立的进程，比如web+wcf/web api等，也就成了分布式系统。要看一个请求怎么从头到尾走的，就有些困难了，要是进行DEBUG、跟踪，就更加麻烦了，困难程度要视进程多少而定，越多越复杂。分布式日志收集系统就登场了。今天介绍一款全开源日志收集、展示系统 - logst...
分类：
其他好文 时间：
2014-10-23 01:15:25
阅读次数：
237
flume是一个实时消息收集系统，它定义了多种的source、channel、sink，可以根据实际情况选择。Flume下载及文档：http://flume.apache.org/Kafkakafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的..
分类：
Web程序 时间：
2014-10-22 18:36:34
阅读次数：
338
