C->S OPTIONS rtsp://127.0.0.1:8554 RTSP/1.0CSeq: 2User-Agent: LibVLC/2.2.8 (LIVE555 Streaming Media v2016.02.22) C->S DESCRIBE rtsp://127.0.0.1:8554 R ...
分类：
其他好文 时间：
2020-06-29 13:32:30
阅读次数：
66
1、归并排序 基本思路：借助额外空间，合并两个有序数组，得到更长的有序数组。例如：「力扣」第 88 题：合并两个有序数组。 算法思想：分而治之（分治思想）。「分而治之」思想的形象理解是「曹冲称象」、MapReduce，在一定情况下可以并行化。 public class Solution { // 归 ...
分类：
编程语言 时间：
2020-06-28 18:15:49
阅读次数：
60
（1）map package cn.itcast.mapreduce; import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; imp ...
分类：
其他好文 时间：
2020-06-27 13:13:03
阅读次数：
59
Hadoop是一个能够对海量数据进行分布式处理的系统架构，主要包含3大块：分布式存储系统HDFS(Hadoop Distributed File System)分布式存储层、分布式计算框架MapReduce分布式计算层、资源管理系统YARN(Yet Another Resource Negotiat... ...
分类：
其他好文 时间：
2020-06-27 11:40:19
阅读次数：
93
一、简介 Apache Flume 是一个分布式，高可用的数据收集系统，可以从不同的数据源收集数据，经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。 二、推送式方法 在推送式方法 (Flume-style Push-based ...
分类：
Web程序 时间：
2020-06-27 00:19:37
阅读次数：
77
一、案例引入 这里先引入一个基本的案例来演示流的创建：获取指定端口上的数据并进行词频统计。项目依赖和代码实现如下： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.12</artifactI ...
分类：
其他好文 时间：
2020-06-27 00:14:44
阅读次数：
62
我这里是MapReduce导出的数据，MapReduce导出的数据中，Key和Value之间用制表符分隔的，可以直接作为表格型数据进行操作，复制一下导出的数据 1. 首先在Matlab工作区创建一个元胞型的变量 2. 然后复制导出的数据 3. 在变量区选择，粘贴Excel数据，就创建好了 如图所示 ...
分类：
其他好文 时间：
2020-06-26 22:08:29
阅读次数：
80
一、流处理 1.1 静态数据处理 在流处理之前，数据通常存储在数据库，文件系统或其他形式的存储系统中。应用程序根据需要查询数据或计算数据。这就是传统的静态数据处理架构。Hadoop 采用 HDFS 进行数据存储，采用 MapReduce 进行数据查询或分析，这就是典型的静态数据处理架构。 1.2 流 ...
分类：
其他好文 时间：
2020-06-26 20:02:43
阅读次数：
49
1、hive的企业级调优 1.1 Fetch抓取（鸡肋） Fetch抓取是指，==Hive中对某些情况的查询可以不必使用MapReduce计算== 例如：select * from employee; 在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制 ...
分类：
其他好文 时间：
2020-06-26 18:44:35
阅读次数：
56
package test import org.apache.spark.sql.{DataFrame, ForeachWriter, Row, SparkSession} import org.apache.spark.sql.streaming.{ProcessingTime, Trigger} ...
分类：
数据库 时间：
2020-06-24 16:23:50
阅读次数：
132
