此文档为了做一次记录，按回忆粗略补写。 环境信息 Centos V7.6.1810 JDK V1.8.0_171 Rsyslog V8.24.0-34.el7 Kafka V2.12-0.10.2.1 zookeeper V3.4.10 ELK V6.2.3 服务器分配 配置尽量高点，此次部署kaf ...
分类：
其他好文 时间：
2019-05-22 19:07:12
阅读次数：
105
1、flume的特点： flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flume的数据流由事件(Event)贯穿始终 ...
分类：
Web程序 时间：
2019-05-13 12:38:20
阅读次数：
125
一、ELK 介绍 ELK 构建在开源基础之上，让您能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。 最近查看 ELK 官方网站，发现新一代的日志采集器 Filebeat，他是 Beats 家族其中的一员，性能超越 logstash，部署简单，占用资源少，可以很 ...
分类：
其他好文 时间：
2019-05-10 16:23:53
阅读次数：
242
关于消息队列的使用 一、消息队列概述消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 二、消息队列应用场 ...
分类：
其他好文 时间：
2019-04-05 22:43:26
阅读次数：
186
数据仓库DW数据来源：爬虫 日志采集系统 业务数据 财务系统 数据去向：报表系统、用户画像推荐系统、机器学习、风控系统 项目需求分析 ① 数据采集平台搭建② 实现用户行为数据仓库的分层搭建③ 实现业务数据仓库的分层搭建④ 针对数据仓库中的数据进行，留存、转化率、GMV（每天交易额）、复购率、活跃等报 ...
分类：
其他好文 时间：
2019-03-19 01:21:02
阅读次数：
186
阿里云容器服务Kubernetes集群集成了日志服务（SLS），您可在创建集群时启用日志服务，快速采集Kubernetes 集群的容器日志，包括容器的标准输出以及容器内的文本文件。 新建 Kubernetes 集群 如果您尚未创建任何的 Kubernetes 集群，可以按照本节的步骤来进行操作： 选 ...
分类：
Web程序 时间：
2019-03-15 14:24:02
阅读次数：
288
消息队列应用场景 1异步处理 场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有两种1.串行的方式；2.并行方式。 （1）串行方式：将注册信息写入数据库成功后，发送注册邮件，再发送注册短信。以上三个任务全部完成后，返回给客户端。（架构KKQ：466097527，欢迎加入） （2）并行方式： ...
分类：
其他好文 时间：
2019-02-26 22:17:21
阅读次数：
210
概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 主要作用：实时读取服务器本地磁盘数据，将数据写入HDFS； 优点： Flume使用两个独立的事务分别负责从soucrce到channel，以及从channel到 ...
分类：
Web程序 时间：
2019-02-22 00:35:29
阅读次数：
222
大家都知道istio可以帮助我们实现灰度发布、流量监控、流量治理等功能。每一个功能都帮助我们在不同场景中实现不同的业务。那Istio是如何帮助我们实现监控和日志采集的呢？
这里我们依然以Bookinfo应用程序作为贯穿此任务的示例程序。首先在集群中安装并部署Istio。
分类：
其他好文 时间：
2019-02-21 16:14:21
阅读次数：
143
大家都知道istio可以帮助我们实现灰度发布、流量监控、流量治理等功能。每一个功能都帮助我们在不同场景中实现不同的业务。那Istio是如何帮助我们实现监控和日志采集的呢？ 这里我们依然以Bookinfo应用程序作为贯穿此任务的示例程序。首先在集群中安装并部署Istio。 ...
分类：
其他好文 时间：
2019-02-21 15:43:20
阅读次数：
146
