一、访问流追踪 log-trace： 减少代码级别插入日志 详细调用访问链路 唯一请求id,方便搜索 二、日志实时展示 1. 日志收集 使用队列，采用发布订阅模式 Kafka/RabbitMq: 使用logback 配置appender AMQP 消费端直接读取 支持ELK Mqtt: IBM协议， ...
分类：
其他好文 时间：
2020-04-01 14:55:28
阅读次数：
65
本文目的是根据前文的博文，打造一个Hadoop、Sprak的服务器闭环。也是经验归纳。 版本信息 CentOS: Linux localhost.localdomain 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 ...
分类：
Web程序 时间：
2020-03-31 19:24:58
阅读次数：
204
Flume概述 Flume是一个高可用、高可靠、分布式的海量日志数据采集、聚合、传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接收方的能力。 Flume（Agent，Java进程）主要由三个重要组件构成： source， ...
分类：
Web程序 时间：
2020-03-31 12:26:27
阅读次数：
76
1、代码管理-->主要开源方案有gitlab、gerrit+repo、gogs 2、任务执行-->jenkins 3、自动化测试-->python 4、构件存储-->hdfs、nexus 5、日志管理-->ELK 6、部署工具-->ansible 7、系统集群高可用-->k8s 8、监控-->zab ...
分类：
其他好文 时间：
2020-03-26 01:39:44
阅读次数：
193
工作原因要用到flume来采集日志，简单接触后写下来一些，随更。详细请看官网http://flume.apache.org/releases/content/1.7.0/FlumeUserGuide.html#a-simple-example flume依赖Java环境，此版本至少要1.7以上的ja ...
分类：
Web程序 时间：
2020-03-24 16:06:45
阅读次数：
115
1, Session 不直接运行，而是将BDC程序生成session，通过SM35或者SAP标准程序RSBDCSUB或者 RSBDCBTC 触发。 优点：通过T-code SM35可以进行运行管理及日志管理，方便查错。 缺点：数据直到session被处理才能更新。 2, 用到的函数、程序 . 1, ...
分类：
其他好文 时间：
2020-03-20 22:19:25
阅读次数：
79
一、安装地址 1） Flume官网地址 http://flume.apache.org/ 2）文档查看地址 http://flume.apache.org/FlumeUserGuide.html 3）下载地址 http://archive.apache.org/dist/flume/ 二、安装部署 ...
分类：
Web程序 时间：
2020-03-20 22:10:33
阅读次数：
67
a1.sources = s1a1.channels = c1a1.sinks = k1 a1.sources.s1.channels = c1a1.sources.s1.type = spooldira1.sources.s1.spoolDir = /home/abby/dataa1.source ...
分类：
Web程序 时间：
2020-03-20 09:16:44
阅读次数：
81
1、在已经搭建好集群基础上，配置监听机器配置，主机名 hadoop1,flume-conf.properties配置文件 # Licensed to the Apache Software Foundation (ASF) under one # or more contributor licens ...
分类：
Web程序 时间：
2020-03-18 23:45:55
阅读次数：
95
https://blog.csdn.net/jethai/article/details/52345302 应用层的负载均衡 master/worker结构：一个master进程，生成一个或多个worker子进程 nginx请求的连接方式epoll 是Linux下多路复用IO接口select/pol ...
分类：
Web程序 时间：
2020-03-16 21:56:10
阅读次数：
74
