flume扇出流动的过程 实现过程 首先准备三台机器：hadoop01,hadoop02,hadoop03 (我在三台机器上已配置好hosts) 然后每台机器上配置Agent 配置hadoop01 配置hadoop02和hadoop03一样 配置完了后，首先启动hadoop02和hadoop03上的 ...
分类：
Web程序 时间：
2019-09-10 23:18:41
阅读次数：
135
1.1 什么是Spark Streaming Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitt ...
分类：
其他好文 时间：
2019-09-04 10:22:15
阅读次数：
115
官网指导文档： http://flume.apache.org/releases/content/1.7.0/FlumeDeveloperGuide.html http://flume.apache.org/releases/content/1.9.0/FlumeDeveloperGuide.htm ...
分类：
Web程序 时间：
2019-09-03 12:06:57
阅读次数：
114
1.下载安装 Java代码 官方网站：http://flume.apache.org/ http://mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz tar -zxvf apache-flume-1.6.0-bin ...
分类：
Web程序 时间：
2019-09-02 12:02:11
阅读次数：
119
日志采集框架Flume Flume介绍 概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部 ...
分类：
Web程序 时间：
2019-09-02 09:35:39
阅读次数：
86
Redis入门（八）——Redis的主从复制 目录 Redis主从复制简介 如何配置 测试复制 复制原理 哨兵模式 1.Redis主从复制简介 当系统的访问量越来越大，一台redis服务器已经支撑不了如此大的访问量时，为了解决这个问题，通常会采取的一种方式是主从架构Master/Slave，Mast ...
分类：
其他好文 时间：
2019-08-31 22:59:57
阅读次数：
81
一、Flume简介 Apache Flume 是一个分布式，高可用的数据收集系统。它可以从不同的数据源收集数据，经过聚合后发送到存储系统中，通常用于日志数据的收集。Flume 分为 NG 和 OG (1.0 之前) 两个版本，NG 在 OG 的基础上进行了完全的重构，是目前使用最为广泛的版本。下面的 ...
分类：
Web程序 时间：
2019-08-31 17:18:53
阅读次数：
130
本篇结构：查看网络配置测试网络连接设置网络地址参数建立双网卡一、查看网络配置查看所有活动网络接口信息众所周知，上网需要网卡。在微软环境下，使用ipconfig命令就能查看到该设备的IP地址，而在Linux环境中，则使用：ifconfig命令//查看本机网络设备信息其中，ens33——为该设备网卡名称，跟PC机网卡功能相同lo——回环网卡（专门用于自测的网卡，检测TCP服务是否上线）virbr0——
分类：
系统相关 时间：
2019-08-29 11:24:39
阅读次数：
150
HTTP状态码必知必会 实验场景介绍 2XX状态码 3XX状态码 测试用例 测试 测试用例 测试 测试用例 测试 第一次访问测试 第二次访问测试 4XX状态码 测试用例 测试 测试用例 生产授权用户名和密码 Nginx授权配置 测试 在弹出的认证授权框中输入正确的用户名和密码 在弹出的认证授权框中输 ...
分类：
Web程序 时间：
2019-08-22 01:10:41
阅读次数：
183
背景 Hadoop业务的整体开发流程： ? 从Hadoop的业务开发流程中可以看出，在大数据的业务处理流程中，对于数据的采集是十分重要的一步，也是不可避免的一步。 ? 许多公司的平台每天会产生大量的日志（一般为流式数据，如搜索引擎的pv,查询等），处理这些日志需要特定的日志系统。一般而言，这些系统需 ...
分类：
Web程序 时间：
2019-08-20 21:59:27
阅读次数：
152
