2. 数据表创建： 2.1 将数据表中的字段也同样拆分成数据字段的创表语句（还没有试验， 暂时不用） 3. 启动flume语句：flume 根目录 4. 启动hive语句: hive bin目录 ...
分类：
Web程序 时间：
2018-05-18 13:50:03
阅读次数：
186
1、错误如下所示，启动flume采集文件到hdfs案例的时候，出现如下所示的错误： 大概是说No channel configured for sink，所以应该是sink哪里配置出现了错误，百度了一下，然后检查了一下自己的配置: 2、解决方法如下所示： 参考链接如https://stackover ...
分类：
Web程序 时间：
2018-05-08 22:26:19
阅读次数：
326
日志分析 目的： 生产中会生成大量的系统日志、应用程序日志、安全日志等日志，通过对日志的分析可以了解数据库的负载、健康状况，可以分析客户的分布情况、客户的行为，甚至基于这些分析可以做出预测。 一般流程： 日志产出-->采集（Logstash、Flume、Scribe）-->存储（落地，可不落地直接分 ...
分类：
其他好文 时间：
2018-05-07 20:54:45
阅读次数：
244
日志分析业务中会生成大量的系统日志、应用程序日志、安全日志等，通过对日志的分析可以了解服务器的负载、健康状况，可以分析客户的分布情况、客户的行为，甚至基于这些分析可以做出预测一般采集流程日志产出->采集（Logstash、Flume、Scribe）->存储->分析->存储（数据库、NoSQL）->可视化开源实时日志分析ELK平台Logstash收集日志，并存放到Ela
分类：
编程语言 时间：
2018-05-06 18:48:51
阅读次数：
235
1. 开发环境1.1. 软件包下载1.1.1. JDK下载地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html安装到 D:\GreenSoftware\Java\Java8X64\j... ...
分类：
Web程序 时间：
2018-05-04 13:58:23
阅读次数：
503
1.首先你需要知道flume的http监控如果启动 请参考博文 Flume的监控参数 即在 http://localhost:3000/metrics 可以访问到如下内容 2.在open-falcon中安装flume监控插件，参考官方文档 http://book.open-falcon.org/zh ...
分类：
Web程序 时间：
2018-05-02 13:08:22
阅读次数：
519
接到个小需求，将mysql的部分数据增量同步到es，但是不仅仅是使用canal而已，整体的流程是mysql canal flume kafka es，说难倒也不难，只是做起来碰到的坑实在太多，特别是中间套了那么多中间件，出了故障找起来真的特别麻烦。 先来了解一下MySQL的主从备份： 从上层来看，复 ...
分类：
其他好文 时间：
2018-04-29 16:24:39
阅读次数：
398
Spark Streaming 1、课程目标 1、掌握sparkStreaming底层原理和架构 2、掌握DStream的原理 3、掌握sparkStreaming与flume整合 4、掌握sparkStreaming与kafka整合 1、掌握sparkStreaming底层原理和架构 2、掌握DS ...
分类：
其他好文 时间：
2018-04-29 01:14:55
阅读次数：
267
首先是关于flume的基础介绍 组件名称 功能介绍 Agent代理 使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。 Client客户端 生产数据，运行在一个独立的线程。 Source源 从Client收集数据，传递给Channe ...
分类：
Web程序 时间：
2018-04-28 19:25:54
阅读次数：
336
