DaemonSet 保证在每个 Node 上都运行一个容器副本，常用来部署一些集群的日志、监控或者其他系统管理应用。下面以日志收集 fluentd 为例，看下如何使用阿里云容器服务控制台创建DaemonSet。 准备Kubernetes环境 在阿里云容器服务控制台中创建Kubernetes 集群(1 ...
分类：
其他好文 时间：
2019-01-05 21:31:53
阅读次数：
197
2018-12-31 15:29:44 Flume 百度百科： flume（日志收集系统） Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种 ...
分类：
Web程序 时间：
2018-12-31 19:17:11
阅读次数：
187
一、Flume是什么 Flume是一个数据，日志收集的一个组件，可以用于对程序，nginx等日志的收集，而且非常简单，省时的做完收集的工作。Flume是一个分布式、可靠、和高可用的海量日志采集聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集日志，同时Flume对日志做简单的处理。 Fl ...
分类：
Web程序 时间：
2018-12-30 13:59:48
阅读次数：
189
最近做了一个POC，目的是系统日志的收集和分析，此前有使用过splunk，虽然用户体验很好，但一是价格昂贵，二是不适合后期开发（splunk已经推出了SDK，后期开发已经变得非常容易）。在收集TB级别的日志量上flume-ng是更好的选择，因为后面的存储是扩展性极佳的HDFS。先简要介绍一下测试环境 ...
分类：
Web程序 时间：
2018-12-22 12:37:32
阅读次数：
246
一 Docker仓库介绍docker 仓库，即 registry，实现了镜像的管理、分发，同时还包括用户的认证。docker registry 仓库是一个无状态的、高可靠的服务器应用程序，用来存储docker镜像。docker.io 为 docker 官方的仓库，默认所有的pull均是从官方仓库拉取... ...
分类：
其他好文 时间：
2018-11-30 14:02:45
阅读次数：
219
Kubernetes上部署efk日志收集系统环境版本：OS：CentOS7.4(1804)Kubernetes：1.11.3Elasticsearch：5.4.0Fuentd-elasticsearch：2.0.2Kibana：6.4.0本地镜像仓库：192.168.22.8NFS-Server：192.168.22.8部署顺序：Kibana->NFS动态存储->Elasticsear
分类：
Web程序 时间：
2018-11-28 15:49:44
阅读次数：
215
filebeat不用多说就是扫描本地磁盘日志文件，读取文件内容然后远程传输。 docker容器日志默认记录方式为 json-file 就是将日志以json格式记录在磁盘上 格式如下： { "log": "2018-11-16 01:24:30.372 INFO [demo1,786a42d3b893 ...
分类：
其他好文 时间：
2018-11-23 12:34:35
阅读次数：
251
1.ELK简介ELK是三个开源软件的缩写，分别表示：Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有
分类：
其他好文 时间：
2018-11-22 00:24:48
阅读次数：
189
一、生产者 使用RocketMQ以三种方式发送消息：可靠的同步，可靠的异步和单向传输。 （1）同步发送消息（可靠的同步传输，适用于重要的短信通知等） (2)异步传输通常用于响应时间敏感的业务场景。 (3)以单向模式发送消息(单向传输用于需要中等可靠性的情况，例如日志收集。) 二、消费者 ...
分类：
其他好文 时间：
2018-11-16 15:05:50
阅读次数：
141
Elasticsearch日志收集备份到Azure blob上 定期删除超过时间的index以及snapshot ...
分类：
其他好文 时间：
2018-11-12 11:18:43
阅读次数：
171
