一，准备环境 CentOs7，jdk1.7，hadoop -2.6.1， apache-flume-1.6.0-bin.tar.gz 二，编写配置文件 在/home/flume/conf的目录下 创建 配置文件 在/home下创建data文件夹 三，运行程序 在/home/flume 目录下运行代码 ...
分类：
Web程序 时间：
2018-10-20 00:53:06
阅读次数：
202
kafka+zookeeper搭建见文章flume安装：1、下载http://101.96.8.157/www.apache.org/dyn/closer.lua/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz2、安装-下图新建数据库和表3、配置新增conf/mysql-flume.conf[root@node191apache-flume-1.8.0-bin]
分类：
数据库 时间：
2018-10-15 20:32:13
阅读次数：
590
1. Spark Streaming的工作机制 Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。 支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets， 从数 ...
分类：
其他好文 时间：
2018-10-14 14:15:29
阅读次数：
206
一、数据生产实现 1.配置数据生产模块 项目基础配置所包含的内容，如下所示： ?项目工程的文件配置 ?集群连接信息配置 ?开发演示 项目基础配置所包含的内容，如下所示： ?项目工程的文件配置 ?集群连接信息配置 ?开发演示 2.实现 Flume 到 Kafka 模块 实现 Flume 到 Kafka ...
分类：
其他好文 时间：
2018-10-14 00:32:24
阅读次数：
166
CDH是Cloudera公司提供的Hadoop发行版，它在原生开源的Apache Hadoop基础之上，针对特定版本的Hadoop以及Hadoop相关的软件，如Zookeeper、HBase、Flume、Sqoop等做了兼容性开发，我们在安装CDH发行版的Hadoop时就无需进行额外繁琐的兼容性测试 ...
分类：
其他好文 时间：
2018-10-13 12:56:36
阅读次数：
319
zookeeper负责协调 hbase必须依赖zookeeper flume 日志工具 sqoop 负责 hdfs dbms 数据转换 数据到关系型数据库转换 大数据学习群119599574 hadoop database 是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库 利用Hado ...
分类：
其他好文 时间：
2018-10-02 17:19:44
阅读次数：
155
本文适合有一定大数据基础的读者朋友们阅读，但如果你没有技术基础，照样可以继续看（这就好比你看《葵花宝典》第一页：欲练此功，必先自宫，然后翻到第二页：若不自宫，也可练功，没错就是这种感觉→_→）。 大数据的数据采集工作是大数据技术中非常重要、基础的部分，数据不会平白无故地跑到你的数据平台软件中，你得用 ...
分类：
Web程序 时间：
2018-09-25 14:41:36
阅读次数：
228
源码包下载： 集群环境： 下载安装包： Flume配置: #Netcat cd /usr/local/flume/conf vim flume-netcat.conf 验证： 结果如图： #Exec cd /usr/local/flume/conf vim flume-exec.conf 验证： 结 ...
分类：
Web程序 时间：
2018-09-23 16:35:48
阅读次数：
202
1、什么是大数据 基本概念 《数据处理》 在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！ 处理海量数据的核心技术： 海量数据存 ...
分类：
其他好文 时间：
2018-09-22 19:42:10
阅读次数：
142
一、基本概念 简单概述 最近在了解ELK做日志采集相关的内容，这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢？因为logstash是jvm跑的，资源消耗比较大， ...
分类：
其他好文 时间：
2018-09-20 11:06:23
阅读次数：
1791
