1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析； 2）使用hive进行历史数据的分析； 3）使用hbase进行实时数据的查询； 4）使用storm进行实时的流处理； (2)选用spark的原因 1） 应用于流式计算的S ...
分类：
其他好文 时间：
2021-03-16 13:32:12
阅读次数：
0
本文介绍的是k8s证书介绍以及通过kubeadm 安装的集群的证书更新方式。 证书默认的安装位置 /etc/kubernetes/pki 涉及到的证书 各个证书介绍 Kubernetes 集群根证书 其他证书都是由此根证书签发的 /etc/kubernetes/pki/ca.crt /etc/kub ...
分类：
其他好文 时间：
2021-03-16 13:23:16
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障，在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类：
其他好文 时间：
2021-03-16 13:21:18
阅读次数：
0
以表的操作和单条记录的增删改查为基础。 批量操作，需要进行进一步封装。 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.clie ...
分类：
编程语言 时间：
2021-03-15 11:32:26
阅读次数：
0
1. 为什么要引入Yarn和Spark。 从开源角度看，YARN的提出，从一定程度上弱化了多计算框架的优劣之争。YARN是在Hadoop MapReduce基础上演化而来的，在MapReduce时代，很多人批评MapReduce不适合迭代计算和流失计算，于是出现了Spark和Storm等计算框架，而 ...
分类：
其他好文 时间：
2021-03-15 11:29:44
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于BigTable，即分布式NoSQL列数据库，外加Zo ...
分类：
其他好文 时间：
2021-03-15 10:45:14
阅读次数：
0
什么是Elastic Shell Elastic Shell是一套完全用Bash Shell编写的，用于管理Elasticsearch搜索引擎的工具脚本。目前，它提供了针对index和snapshot的基本管理，并提供了针对reindex和Elasticsearch集群升级的辅助自动化。 本质上，E ...
分类：
系统相关 时间：
2021-03-15 10:42:46
阅读次数：
0
翻译：Eolinker——国内流行的高效API网关 来源：Medium 这些年来，API网关正在经历一些有关他们是否真的起到作用的质疑。 ? 它们是否集中、共享了资源，从而促进了API对于外部调用的管理？ ? 它们是否集群入口（ingress）的控制器，从而可以严格管理用户进入或离开集群吗？ ? 或 ...
引言 NoSql：主要指非关系型、分布式、不提供ACID的数据库设计模式。 1 ES总结 主旨在于随时可用和按需扩容，通过购买性能更强大（垂直扩容、或纵向扩容）或者数量更多的服务器（水平扩容、或横向扩容）来实现。 垂直扩容有限，真正的扩容能力来自于水平扩容（为集群增加更多的节点，将负载压力和稳定性分 ...
分类：
其他好文 时间：
2021-03-15 10:34:48
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 答: Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于BigTabl ...
分类：
其他好文 时间：
2021-03-15 10:30:53
阅读次数：
0
