这几天由于项目的需要，需要将Flume收集到的日志插入到Hbase中，有人说，这不很简单么？Flume里面自带了Hbase sink，可以直接调用啊，还用说么？是的，我在本博客的《Flume-1.4.0和Hbase-0.96.0整合》文章中就提到如何用Flume和Hbase整合，从文章中就看出整个过 ...
分类：
Web程序 时间：
2020-06-04 10:26:08
阅读次数：
83
第1章 Flume概述 1.1 Flume定义 Flume(水槽) 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 在2009年Flume被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flum ...
分类：
Web程序 时间：
2020-05-30 19:56:36
阅读次数：
89
开发板原理图 新建一个GpioOut.lua文件 控制GPIO2输出高电平 module(...,package.seeall) --固定写法,具体百度lua文件加载(初学者不需要考虑,直接写上这句话即可),这些只是规定的语法而已 require"pins" --加载官方提供的pins文件 --调用 ...
分类：
其他好文 时间：
2020-05-24 09:53:49
阅读次数：
76
1 1:监控端口数据官方案例 2 vim flume-netcat-logger.conf 3 添加内容如下： 4 # Name the components on this agent 5 a1.sources = r1 6 a1.sinks = k1 7 a1.channels = c1 8 9 ...
分类：
其他好文 时间：
2020-05-20 14:27:35
阅读次数：
74
1 导入pom依赖 2 <dependencies> 3 <dependency> 4 <groupId>org.apache.flume</groupId> 5 <artifactId>flume-ng-core</artifactId> 6 <version>1.7.0</version> 7 ...
分类：
其他好文 时间：
2020-05-20 14:03:09
阅读次数：
60
msecphp 毫秒服务引擎(Mass Service Engine in Cluster)是一个开源框架，适用于在廉价机器组成的集群上开发和运营分布式后台服务。 毫秒服务引擎集RPC、名字发现服务、负载均衡、业务监控、灰度发布、容量管理、日志管理、key-value存储于一体。 此项目是基于腾讯开 ...
分类：
Web程序 时间：
2020-05-17 16:11:53
阅读次数：
69
查看日志rsyslogd是否启动和自启动 ps aux | grep rsyslogd 查看自启动（CentOS 7使用，CentOS 6可以使用chkconfig命令） systemctl list-unit-files | grep rsyslog 常见日志及其作用 ...
分类：
系统相关 时间：
2020-05-17 13:35:10
阅读次数：
68
1、部署分离的LAMP，部署到二台服务器上，php加载xcache模块1)在c2服务器安装httpd,php,php-mysql[root@c2~]#yuminstallhttpdphpphp-mysql-y2)在mariadb服务器安装数据库mariadb-server[root@mariadb~]#yuminstallmariadb-server-y3)启动服务[root@c2~]#syste
分类：
其他好文 时间：
2020-05-16 15:16:43
阅读次数：
130
主要是利用命令envsubst能实现变量的替换并生成新得配置文件以及docker命令行的变量输入等。 本次实验主要是编写flume镜像，并在容器启动(docker run)时动态修改配置文件并启动，并向flume发数据，然后发给kafka。 此实验的基础： 会dockerfile的编写，熟悉flum ...
分类：
其他好文 时间：
2020-05-15 17:44:38
阅读次数：
237
一、flume是什么 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 flume的架构： flume的组成架构： 二、flume的组件介绍 1、Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至 ...
分类：
Web程序 时间：
2020-05-14 00:59:14
阅读次数：
91
