Spark Streaming 是core Spark的一个扩展，用来处理实时数据流，数据源可以来自Kafka, Flume, HDFS等，经过复杂的算法处理后，存入HDFS，数据库，或者实时的Dashboards. 从内部来看，Spark Streaming把进来的流式数据切成一小块一小块，然后再 ...
分类：
其他好文 时间：
2017-10-13 10:14:41
阅读次数：
160
https://yq.aliyun.com/articles/50487?spm=5176.100239.blogcont43566.18.uawbnY ...
分类：
Web程序 时间：
2017-10-12 19:19:21
阅读次数：
202
针对每天TB级的数据采集，一般而言，这些系统需要具有以下特征： 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统； 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。 从设计架构，负载均衡，可扩展性和容错性等方面对 ...
分类：
Web程序 时间：
2017-10-12 10:18:10
阅读次数：
305
SparkSQL结合SparkStreaming的使用 Flume+Kafka+SparkStreaming已经发展为一个比较成熟的实时日志收集与计算架构，利用Kafka，即可以支持将用于离线分析的数据流到HDFS，又可以同时支撑多个消费者实时消费数据，包括SparkStreaming。然而，在Sp ...
分类：
数据库 时间：
2017-10-11 17:18:41
阅读次数：
1282
1）：? 安装JDK环境 2）：? 在官网下载Flume，http://mirror.bit.edu.cn/apache/flume 既是：wget http://mirror.bit.edu.cn/apache/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz 注 ...
分类：
Web程序 时间：
2017-10-10 00:03:30
阅读次数：
179
KafKa+Zookeeper+Flume部署脚本 Kafka,Kafka分布式消息,Kafka分布式消息系统,Kafka集群 spring,springmvc,spring mvc,web开发,java分布式架构,shiro,mybatis,kafka,j2ee分布式架构 愿意了解框架技术或者源... ...
分类：
Web程序 时间：
2017-10-09 15:29:25
阅读次数：
279
KafKa+Zookeeper+Flume部署脚本 spring,springmvc,spring mvc,web开发,java分布式架构,shiro,mybatis,kafka,j2ee分布式架构 Kafka,Kafka分布式消息,Kafka分布式消息系统,Kafka集群 愿意了解框架技术或者源... ...
分类：
Web程序 时间：
2017-09-30 11:34:42
阅读次数：
237
Apache Flume Flume is a distributed, reliable, and available service for efficiently collecting,aggregating, and moving large amounts of log data. It ...
分类：
Web程序 时间：
2017-09-29 11:01:56
阅读次数：
179
版权声明：本文为yunshuxueyuan原创文章。如需转载请标明出处： http://www.cnblogs.com/sxt-zkys/QQ技术交流群：299142667 flume的概念 1. flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初 ...
分类：
Web程序 时间：
2017-09-27 15:21:26
阅读次数：
312
概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中 一般的采集需求，通过对flume的简单配置即可实现 Flume针对特殊 ...
分类：
Web程序 时间：
2017-09-26 23:33:07
阅读次数：
275
