1. Hadoop 概览Google 三篇论文(GFS -> HDFS,Map-Reduce -> MR,BigTable -> HBase)是 Hadoop 的思想之源。Hadoop 生态非常庞大,其最初两大核心是 HDFS 和 MR,分别负责存储和计算(Hadoop 1.x 中,MR 既负责计算 ...
1. 阐述Hadoop生态系统中,HDFS, MapReduce, Yarn, Hbase及Spark的相互关系,为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础,它是一个高度容错的系统,能检测和应对硬件故障,在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类:
其他好文 时间:
2021-06-07 20:05:58
阅读次数:
0
限流的原则,是尽量在流量源头限,并且是需要依据现有团队所掌握的技能来。 如上最左侧便是主要流量的来源入口,首先就要限制的地方就是slb节点的income流量 slb节点的流量特点是啥?加限流怎么加?限流限的是啥? 错了,此处是拦截,不是限流... 流量特点: 几乎来自外部的流量都从这个入口过来,无论 ...
分类:
其他好文 时间:
2021-06-07 20:02:20
阅读次数:
0
Spring Cloud Gateway是Spring官方基于Spring5.0,Spring Boot2.0和Project Reactor等技术开发的网关,Spring Cloud Gateway旨在为微服务架构提供简单,有效且统一的API路由管理方式。Spring Cloud Gateway作 ...
分类:
编程语言 时间:
2021-06-07 19:52:19
阅读次数:
0
从Spring到SpringBoot浅谈 一、Spring能做什么 (一)、Spring的能力 (二)、spring的生态 https://spring.io/projects/spring-boot 覆盖了:web开发、数据访问、安全控制、分布式消息服务、移动开发、批处理等。 (三)、Spring ...
分类:
编程语言 时间:
2021-06-06 19:26:01
阅读次数:
0
一、 消息队列概述 消息队列是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。 通过提供消息传递和消息排队模型,它可以在分布式环境下提供应用解耦、弹性伸缩、冗余存储、流量削峰、异步通信、数据同步 等等功能,其作为 分布式系统架构 中的一个重要组件,有着举足 ...
分类:
其他好文 时间:
2021-06-06 18:50:48
阅读次数:
0
校验和 序列号/确认应答 重传机制超时重传高速重传:三次确认应答 连接控制 三次握手 为什么不是两次:1、需要告知双方的SYN;2、避免失效的连接请求再次到达接收端 为什么不是四次:四次挥手 流量控制 滑动窗口:不需要等待每一次确认应答,ACK丢失不需要重传,数据包丢失,三次确认应答重传接收端告知窗 ...
分类:
其他好文 时间:
2021-06-05 18:15:11
阅读次数:
0
STP与MSTP 1. STP简介 2. 生成树的算法 2.1 选择根网桥 2.2 选择根端口 2.3 选择指定端口 2.4 STP选举案例 3. 桥协议数据单元BPDU 4. MSTP 4.1 MSTP的网络层次 4.2 MSTP相关配置命令 1. STP简介 STP——Spanning Tree ...
分类:
其他好文 时间:
2021-06-05 18:04:06
阅读次数:
0
相信有许多人都向往代码给人带来的魅力,今天带大家入门爬虫,感受一下,代码的快乐大家应该都听过爬虫,但是什么是爬虫呢? 其实可以了解为:通过编写程序,模拟浏览器上网,然后让其去互联网上抓取数据的过程 爬虫可以做什么呢?1、收集数据 2、调研 3、刷流量和秒杀 当然更多是为了就业,赚取很多的玛尼了。 爬 ...
分类:
编程语言 时间:
2021-06-05 17:52:49
阅读次数:
0
随着互联网的下沉,以前从来没有上网的很多农村人现在也开始接触到互联网,开始利用手机看资讯,网上购物,三农类网民逐渐增多。 三农类自媒体的现状 三农领域的火爆还有一个更直接的原因,响应国家的扶贫号召,各大自媒体平台都给三农领域很大的流量扶持,并且给予了很不错的收益补贴。很多在农村的人或者在外地打工的, ...
分类:
其他好文 时间:
2021-06-04 19:14:48
阅读次数:
0