一、概述 1.是Hadoop中的一套分布式的计算框架 2.将整个计算过程拆分为2个阶段：Map阶段、Reduce阶段 3.Map阶段一般负责数据的整理，Reduce阶段负责数据的汇总 4.如果输入路径是一个文件，则MapReduce只处理这个文件；如果输入的是一个目录，则处理这个目录下的所有文件 - ...
分类：
其他好文 时间：
2020-06-23 15:36:59
阅读次数：
38
Nifi生产环境使用 1、服务器日志目录内的 log 文件中,我们使用 Apache Flume 这个工具将原始数据抽取出来 kafka sink , 2、Nifi接入kafka数据。 首先做验证,然后过滤格式错误记录,然后路由不同的日志类型. nifi能做到这些的关键在于它的 flowfile 这 ...
分类：
其他好文 时间：
2020-06-23 15:17:07
阅读次数：
98
一、简介1.RFC3918简介历史·在1999年3月成为正式标准功能·评测网络互连设备或网络系统的性能·网络设备:交换机，路由器…内容·定义了一整套测试方法，为不同厂家的设备/系统提供了统一的评估标准和报告格式相关文档·RFC2432,TerminologyforIPMulticastBenchmarking·RFC3918,MethodologyforIPMulticastBenchmarkin
分类：
其他好文 时间：
2020-06-23 09:12:15
阅读次数：
55
UML类图的作用是描述程序中类的信息及各个类之间的关系。所有的面向对象（Object Oriented）语言都离不开类的概念，理解了程序中类的设计也就理解了程序的一半。但类的具体描述方式在各个类中都不一样，UML类图的提出是为了能够脱离语言的限制，抽象地描述各个类的信息及各个类之间的关系。这是UML ...
分类：
其他好文 时间：
2020-06-22 22:58:19
阅读次数：
47
前面大概了解了一下elasticsearch的数据存储和数据的查询。现在学习一下，es的复杂操作。 官网相关文档地址：https://www.elastic.co/guide/en/elasticsearch/client/java-api/7.x/java-docs-delete-by-query ...
分类：
编程语言 时间：
2020-06-22 18:37:02
阅读次数：
87
默认配置文件 要获取的默认配置文件 文件存放在Hadoop的jar包中的位置 自定义配置文件[etc/hadoop]中 [core-default.xml] hadoop-common-2.10.0.jar/core-default.xml [core-site.xml] [hdfs-default ...
分类：
其他好文 时间：
2020-06-22 12:33:23
阅读次数：
48
现代应用的的数据库面临的挑战 应用的存储容量的增长超过了RDBMS所提供的能力 应用需要未知级别的扩展能力 应用需要7*24的高可用 数据需要全局分布式 用户需要在任何位置进行读写数据 用户总是寻求减少软件和硬件成本 所有这些挑战导致了Nosql的诞生，具有以下主要优势 ? Availability ...
分类：
数据库 时间：
2020-06-22 12:31:29
阅读次数：
54
单表查询 简单查询 查询所有字段 SELECT * FROM 表名 ; 查询指定字段 SELECT 字段名1,字段名2,... FROM 表名 ; 按条件查询 带关系运算符的查询 SELECT *|(字段名1,字段名2,... ) FROM 表名 WHERE 关系表达式 ; "等于 =" "不等于 ...
分类：
数据库 时间：
2020-06-22 01:58:59
阅读次数：
97
数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
1.x MapReduce：计算+调度 HDFS：数据存储 Common：辅助工具 2.x MapReduce：计算 Yarn：资源调度 HDFS：数据存储 Common：辅助工具 ...
分类：
其他好文 时间：
2020-06-21 23:45:14
阅读次数：
83
