DataNode上数据块以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是数据块元数据包括长度、校验、时间戳;
DataNode启动后向NameNode服务注册,并周期性的向NameNode上报所有的数据块元数据信息;
分类:
其他好文 时间:
2020-10-21 20:51:41
阅读次数:
21
在数据库的发展过程中,安全-->稳定-->高效-->低成本四个有序的要点一直如影随形,后者离开前者就是空谈。10月19日晚上MySQL发布了8.0.22版本,其中一个新功能(AutomaticconnectionfailoverforAsyncReplicationChannels)引起我的注意,也很感兴趣,作为一个DBA老兵,百感交集,在过去的20多年,故障切换功能一直是三方后
分类:
数据库 时间:
2020-10-20 16:45:28
阅读次数:
53
一、错误截图 1、“无法访问上的远程注册表,请确保远程注册表服务正在运行,并且已启用远程管理” 二、解决办法 修改Remote Registry服务为自动,并启动,最后需要重启服务器,再次添加就可以了 ...
分类:
其他好文 时间:
2020-10-20 16:40:24
阅读次数:
38
无论对Spark集群,还是Hadoop集群等大数据相关的集群进行调优,对linux系统层面的调优都是必不可少的,这里主要介绍3种常用的调优和linux常见面试题 ...
分类:
系统相关 时间:
2020-10-20 16:23:11
阅读次数:
36
早上刚到公司,老大说,运行着gogs代码库和mariadb数据库的宿主机崩溃了(ubuntu18.04LTS)。重启电脑,默认方式启动,进入系统过程中抛出异常,信息为endKernelpanic-notsyncing:Noworkinginitfound.使用恢复模式启动,可选的启动项有6个,分别对应3个内核版本(Linux4.15.0-118,Linux4.15.0-117和Linux4.15.
分类:
其他好文 时间:
2020-10-19 22:52:14
阅读次数:
24
备份还原备份就是数据库在某一个时间点的副本数据库备份的目的:防止数据库丢失,防止天灾人祸(地震、火灾、人为操作、硬件故障)备份主要有:物理备份和逻辑备份物理备份主要备份的是使用过有效的数据页,逻辑备份主要是备份的数据库对象(表、视图)。物理备份:分为联机备份和脱机备份;完全备份和增量备份完全备份:备份的数据库或指定者表空间的全部数据。增量备份:是指在上一次全备或增备后,以后每次的备份只需要备份修改
分类:
其他好文 时间:
2020-10-18 16:21:05
阅读次数:
34
1.用自己的图,描述HDFS体系结构、工作原理与流程。 2.伪分布式安装Hadoop (1)创建hadoop用户 (2)更新apt (3)安装SSH ,配置无密码SSH登录 (4)安装JAVA环境 (5)安装 Hadoop 2.7.1 (6)Hadoop伪分布式配置 (7)运行Hadoop伪分布式实 ...
分类:
其他好文 时间:
2020-10-18 09:54:43
阅读次数:
16
实验目的 ? 在 Linux(VM15pro/CentOS8) 环境下完成Hadoop-3.2.1伪分布式环境的搭建,并运行 Hadoop 自带的 WordCount 实例检测是否运行正常。 一、下载并配置java环境 ? Java 环境可选择 Oracle 的 JDK,或是 OpenJDK,现在一 ...
分类:
其他好文 时间:
2020-10-18 09:51:46
阅读次数:
25
到http://mirror.bit.edu.cn/apache/hbase/下载对应的Hbase版本 我这里下载的是hbase-2.2.6-bin.tar.gz版本,是较稳定的版本。 解压: tar -zxvf /home/hadoop/桌面/hbase-2.2.6-bin.tar.gz 移动位置 ...
分类:
系统相关 时间:
2020-10-18 09:47:54
阅读次数:
26
一、服务器故障环境描述内蒙古某公司一台XFS文件系统服务器出现故障。客户的服务器搭建了一组riad5磁盘阵列,使用MD1200磁盘柜+RAID卡的组合方式,服务器上层分配了一个容量约80T左右的LUN,划分了两个分区。其中sdc1分区大小为2T,通过LVM扩容的方式,将sdc1分区加入到了root_lv中,剩余的sdc2分区格式化为XFS文件系统使用。服务器上层采用Linux系统。客户在对服务器进
分类:
其他好文 时间:
2020-10-18 09:21:11
阅读次数:
23