ZooKeeper是什么 就像冯巩每次出场都说：“亲爱的观众朋友们，我想死你们啦”一样，我再哔哔一次，学习大数据官网很重要。Zookeeper官网看这里ZooKeeper ZooKeeper 是一个开源的分布式协调服务，它本身也是分布式设计。它提供了一组简单的原语，基于这些指令，分布式应用能够实现同 ...
分类：
其他好文 时间：
2021-01-30 12:04:59
阅读次数：
0
缓存操作读缓存读缓存可以分为两种情况命中（cachehit）和未命中（cachemiss）：缓存命中首先从缓存中获取数据将缓存中的数据返回缓存未命中首先从缓存中获取数据此时缓存未命中，从数据库获取数据将数据写入缓存返回数据读缓存的的处理由缓存中有没有数据？决定，如果缓存中有数据那就是缓存命中，如果没有那就是缓存未命中：写缓存写缓存可以分为更新缓存和删除缓存。更新缓存更新缓存时需要分两种情况：更新简
分类：
其他好文 时间：
2020-12-18 13:09:53
阅读次数：
3
HBase读写流程 在网上找了一张图，这个画的比较简单，就拿这个图来说吧。 写流程 1.当Client发起一个Put请求时，首先访问Zookeeper获取hbase:meta表。 2.从hbase:meta表查询即将写入数据的Region位置。 3.Client向目标RegionServer发出写命 ...
分类：
其他好文 时间：
2020-12-02 12:39:17
阅读次数：
7
可能是Hadoop hdfs mapreduce最亲民的介绍
分类：
其他好文 时间：
2020-10-30 13:03:28
阅读次数：
17
shuffle阶段 概念 shule 是 Mapreduce 的核心，它分布在 Mapreduce 的 map 阶段和 reduce 阶段。一般把从 Map 产生输出开始到 Reduce 取得数据作为输入之前的过程称作 shule。 一张图看懂Mapreduce全过程 概念解释 Collect阶段 ...
分类：
其他好文 时间：
2020-10-05 21:45:42
阅读次数：
32
HDFS概述 HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常 适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存 储文件, 并且提供统一的访问接 ...
分类：
其他好文 时间：
2020-09-08 20:40:45
阅读次数：
34
一、hdfs的命令行使用 1、ls 格式：hdfs dfs -ls URI 作用：类似于Linux的ls命令，显示文件列表 2、-ls -R 格式 : hdfs dfs -ls -R URI 作用: 在整个目录下递归执行ls, 与UNIX中的ls-R类似 3、mkdir 格式：hdfs dfs [- ...
分类：
其他好文 时间：
2020-08-28 11:45:33
阅读次数：
51
前面几篇文章把Hadoop常用的模块都学习了，剩下一个新模块Ozone，截止到今天最新版本是0.5.0Beta，还没出正式版。好在官方网站有文档，还是中文版的。 什么是Ozone Ozone 是 Hadoop 的分布式对象存储系统，具有易扩展和冗余存储的特点。 Ozone 不仅能存储数十亿个不同大小 ...
分类：
其他好文 时间：
2020-07-30 01:46:54
阅读次数：
117
NN-1 NN-2 DN ZK ZKFC JNN RS NM(和DN在一起) node0001 * * * node0002 * * * * * * node0003 * * * * * node0004 * * * * 1，修改配置文件 cd /opt/sxt/hadoop-2.6.5/etc/h ...
分类：
其他好文 时间：
2020-07-29 00:45:28
阅读次数：
156
namenode1 namenode2 datanode zk zkfc jnn node0001 * * * node0002 * * * * * node0003 * * * node0004 * * 1，两个namenode节点相互免密钥，以完成主备切换 node0002:cd .ssh ss ...
分类：
其他好文 时间：
2020-07-23 01:34:21
阅读次数：
110
