在spark streaming读取kafka的数据中，spark streaming提供了两个接口读取kafka中的数据，分别是KafkaUtils.createDstream，KafkaUtils.createDirectStream，前者会自动把offset更新到zk中，默认会丢数据，效率低， ...
分类：
其他好文 时间：
2020-01-31 01:00:37
阅读次数：
82
一、实验目的 （1）通过实验学习日志采集工具 Flume 的安装和使用方法； （2）掌握采用 Flume 作为 Spark Streaming 数据源的编程方法。 二、实验平台 操作系统： Ubuntu16.04 Spark 版本：2.1.0 Flume 版本：1.7.0 三、实验内容和要求 1.安 ...
分类：
其他好文 时间：
2020-01-27 23:56:31
阅读次数：
256
SparkSQL的进化之路 1.0以前： Shark 1.1.x开始： SparkSQL(只是测试性的) SQL 1.3.x: SparkSQL(正式版本)+Dataframe 1.5.x: SparkSQL 钨丝计划 1.6.x： SparkSQL+DataFrame+DataSet(测试版本) ...
分类：
数据库 时间：
2020-01-26 19:06:08
阅读次数：
99
遇到cuda程序，开始理解学习cuda概念及使用 Cuda 有硬件概念 SP (streaming processor)，SM(streaming multiprocessor) 有方便编程的软件概念thread, blocks, grid 各个概念的解释： SP：流处理器，最基本的处理单元，也称为 ...
分类：
其他好文 时间：
2020-01-26 13:10:26
阅读次数：
126
[TOC] SparkStreaming相关概念 概述 SparkStreaming主要用作对流数据的实时处理，比如：实时的 web 日志数据分析、实时追踪页面访问统计数据等。 流数据的特点有： 数据一直在变化 数据无法回退 数据始终源源不断涌进 Spark Streaming 是在 Spark 上 ...
分类：
其他好文 时间：
2020-01-24 22:24:29
阅读次数：
95
文件扩展名Content-Type(Mime-Type)文件扩展名Content-Type(Mime-Type) .*（ 二进制流，不知道下载文件类型） application/octet-stream .tif image/tiff .001 application/x-001 .301 appl ...
分类：
Web程序 时间：
2020-01-20 14:27:11
阅读次数：
109
Spark Streaming对实时数据流进行分析处理，源源不断的从数据源接收数据切割成一个个时间间隔进行处理； 流处理与批处理有明显区别，批处理中的数据有明显的边界、数据规模已知；而流处理数据流并没有边界，也未知数据规模； ...
分类：
其他好文 时间：
2020-01-19 22:12:37
阅读次数：
148
Azure Media Services -可提供视频点播（VOD） ...
分类：
其他好文 时间：
2020-01-16 11:04:43
阅读次数：
79
Spark SQL：数据库 Spark Streaming：流计算框架 GraphX:图计算框架 使用语言开发： SCALA语言学习(与Java完全兼容) 编程范式： 1，命令式语言：C，C++，Java...基于冯.诺依曼体系结构 2，函数式语言：充分利用多核CPU多线程并发能力 基于λ演算，并发 ...
分类：
其他好文 时间：
2020-01-14 23:47:05
阅读次数：
92
1.简介 RocketMQ is a distributed messaging and streaming platform with low latency, high performance and reliability, trillion level capacity and flexib ...
分类：
其他好文 时间：
2020-01-12 21:41:26
阅读次数：
105
