1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 答: Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于BigTabl ...
分类：
其他好文 时间：
2021-03-15 10:30:53
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce，hadoo ...
分类：
其他好文 时间：
2021-03-15 10:30:41
阅读次数：
0
.net core中登录认证的几种方式 第一种、session\cookie+方法过滤器认证 1. 讲解：该认证模式主要的逻辑如下，并且分别在session和cookie中存储相应的值，并且在方法过滤器中进行进行拦截验证。 登录的逻辑应该是 session中存储用户的主要信息 key：guid类型 ...
分类：
Web程序 时间：
2021-03-11 20:37:14
阅读次数：
0
机制 发现运行速度远慢于平均速度的任务，启动一个备份任务同时运行，采用先运行完的结果 前提 每个Task只能有一个备份任务 当前Job已完成的Task不少于5% 开启推测执行参数，默认打开 原理 estimatedRunTime=(currentTimestamp-taskStartTime)/pr ...
分类：
编程语言 时间：
2021-03-11 13:09:23
阅读次数：
0
Java的序列化框架Serializable， 对象被序列化后会附带额外信息， 不便于在网络中传输 自定义bean对象 实现Writable接口 必须有空参构造， 反序列化时， 需要反射调用空参构造函数 重写序列化和反序列化方法， 顺序要完全一致 若自定义bean要作为key， 需实现Compara ...
分类：
其他好文 时间：
2021-03-11 11:44:25
阅读次数：
0
介绍 分而治之是一个有效的处理大数据的方法，著名的MapReduce就是采用这种分而治之的思路。简单的说，如果要处理1000个数据，但是我们不具备处理1000个数据的能力，只可以处理10个数据。我们可以将这个任务分成100份，每份处理10个，并将最后的结果进行合成，形成1000个数据的处理结果。 把 ...
分类：
编程语言 时间：
2021-03-10 13:02:18
阅读次数：
0
配置文件 mapred-site.xml 加入以下代码 <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020</value> </property> <!-- 历史服 ...
分类：
其他好文 时间：
2021-03-06 14:37:58
阅读次数：
0
今日学习内容springmvc文件传输1。传统方式2。springmvc方式（需要在spring.xml中配置文件解析器，在jsp中，name为MultipartFile upload,不可更改）问题（使用这种方式，发现上传的文件没有扩展名，后发现是String filename=upload.ge ...
分类：
其他好文 时间：
2021-03-06 14:32:54
阅读次数：
0
大数据概述 一.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超 ...
分类：
其他好文 时间：
2021-03-03 12:14:24
阅读次数：
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超大数据、流式 ...
分类：
其他好文 时间：
2021-03-02 12:28:59
阅读次数：
0
