日志采集框架Flume Flume介绍 概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部 ...
分类：
Web程序 时间：
2019-09-02 09:35:39
阅读次数：
86
智能指针(shared_ptr,unique_ptr)作为函数参数或者返回值时的一些注意事项 当智能指针作为函数的参数或者返回值时，一直在纠结到底是用智能指针对象本身还是用原始指针。Herb Sutter大师的文章很好的解决了这个疑惑，参见网址： https://herbsutter.com/201 ...
分类：
其他好文 时间：
2019-08-30 15:56:49
阅读次数：
424
用gstreamer架构做对媒体开发时，gst-inspect 和gst-launch是两个非常使用的小工具，前者是用于查询库中已经包含的所有element以及他们的详细信息，后者用于快速构建一条pipeline，这个命令最爽，因为只要一句话，你就可以感受到播放的快感。废话不多说，直接看示例： 1 ... ...
分类：
其他好文 时间：
2019-08-14 14:13:15
阅读次数：
96
概念1、group：组内只有1个实例消费。如果不设置group，则stream会自动为每个实例创建匿名且独立的group——于是每个实例都会消费组内单次只有1个实例消费，并且会轮询负载均衡。通常，在将应用程序绑定到给定目标时，最好始终指定consumergroup2、destinationbinder：与外部消息系统通信的组件，为构造Binding提供了2个方法，分别是bindConsumer和b
分类：
编程语言 时间：
2019-08-11 23:36:54
阅读次数：
203
应用处理当消费者在处理接收到的消息时，有可能会由于某些原因而抛出异常。若希望对抛出来的异常进行处理的话，就需要采取一些异常处理手段，异常处理的方式可分为三种：应用层面的处理、系统层面的处理以及通过RetryTemplate进行处理。本小节先来介绍较为常用的应用层面的异常处理方式，该方式又细分为局部处理和全局处理。局部处理Stream相关的配置内容如下：spring:cloud:stream:roc
分类：
编程语言 时间：
2019-08-11 23:33:08
阅读次数：
675
测试flume，将数据送到hive表中，首先建表。 flume conf 配置如下： 这个时候如果启动flume的话会报错，需要将hive中的jar包移动到flume 中。 此时，在修改修改 hive-site.xml，将下面的值进行修改。 上面的配置完成之后，先启动 hive metastore， ...
分类：
Web程序 时间：
2019-07-20 12:57:59
阅读次数：
163
5.Flink DataStream API 5.1 Flink 运行模型 以上为 Flink 的运行模型，Flink 的程序主要由三部分构成，分别为 Source、 Transformation、Sink。DataSource 主要负责数据的读取，Transformation 主要负责对 属于的转 ...
/etc/hadoop/conf/hadoop-metrics2.properties namenode.sink.ganglia.servers=10.0.0.1:8649 datanode.sink.ganglia.servers=10.0.0.1:8649 journalnode.sink.g... ...
分类：
其他好文 时间：
2019-06-20 15:47:39
阅读次数：
110
大数据～数据挖掘，越来越火，90%的企业都在运用或者都想要利用大数据为其带来更便利的服务，从而大数据高端软件类人才可谓供不应求。那么零基础如何学好大数据？ ...
分类：
其他好文 时间：
2019-06-03 10:51:22
阅读次数：
206
在Java中，把不同的输入/输出源（键盘、文件、网络连接等）中的有序数据抽象为流（stream）。 stream（流）是从起源（source）到接收（sink）的有序数据。 通过流的方式，Java可以使用相同的方式来访问、操作不同类型的输入/输出源，不管输入、输出节点是磁盘文件、网络连接，还是其他的 ...
分类：
编程语言 时间：
2019-05-24 09:21:45
阅读次数：
128
