学习了这么久hadoop，都没有搭过集群，是不合格的。这次搭建完，细扣具体的Job运行情况，日志信息，对Hadoop了解更深了。后面也要陆续搭建分布式flume,kafka,hbase,mysql来完成最终的离线批处理分析项目。 搭建步骤 1. 虚拟机环境准备(IP地址、主机名、新用户、防火墙、SS ...
分类：
其他好文 时间：
2020-04-04 15:00:32
阅读次数：
81
Flume定义： Flume是Cloudera提供的一个高可用的、高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构， 灵活简单。 为什么选用Flume 主要作用： 实时读取服务器本地磁盘的数据， 将数据写入到HDFS Flume的组织架构 1、最简单的组织架构 2、Flume ...
分类：
Web程序 时间：
2020-04-02 22:33:57
阅读次数：
107
本文目的是根据前文的博文，打造一个Hadoop、Sprak的服务器闭环。也是经验归纳。 版本信息 CentOS: Linux localhost.localdomain 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 ...
分类：
Web程序 时间：
2020-03-31 19:24:58
阅读次数：
204
Flume概述 Flume是一个高可用、高可靠、分布式的海量日志数据采集、聚合、传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接收方的能力。 Flume（Agent，Java进程）主要由三个重要组件构成： source， ...
分类：
Web程序 时间：
2020-03-31 12:26:27
阅读次数：
76
工作原因要用到flume来采集日志，简单接触后写下来一些，随更。详细请看官网http://flume.apache.org/releases/content/1.7.0/FlumeUserGuide.html#a-simple-example flume依赖Java环境，此版本至少要1.7以上的ja ...
分类：
Web程序 时间：
2020-03-24 16:06:45
阅读次数：
115
一、安装地址 1） Flume官网地址 http://flume.apache.org/ 2）文档查看地址 http://flume.apache.org/FlumeUserGuide.html 3）下载地址 http://archive.apache.org/dist/flume/ 二、安装部署 ...
分类：
Web程序 时间：
2020-03-20 22:10:33
阅读次数：
67
a1.sources = s1a1.channels = c1a1.sinks = k1 a1.sources.s1.channels = c1a1.sources.s1.type = spooldira1.sources.s1.spoolDir = /home/abby/dataa1.source ...
分类：
Web程序 时间：
2020-03-20 09:16:44
阅读次数：
81
1、在已经搭建好集群基础上，配置监听机器配置，主机名 hadoop1,flume-conf.properties配置文件 # Licensed to the Apache Software Foundation (ASF) under one # or more contributor licens ...
分类：
Web程序 时间：
2020-03-18 23:45:55
阅读次数：
95
flume 启动agent报No appenders could be found for logger的解决 ...
分类：
移动开发 时间：
2020-03-14 11:10:42
阅读次数：
63
因为Flume是基于Java编写的，所以已经提供了基于JMX的服务实现，内置了MBean。 唯一需要做的就是启动JMX服务，使用工具，或写代码，向JMX的monitor服务发送请求，获取其中的MBean。 一、基于JCONSOLE查看MBean 1、在conf/flume.env.sh中进行配置 e ...
分类：
Web程序 时间：
2020-03-14 00:40:05
阅读次数：
94
