一、hdfs概述 介绍： 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统 。HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数 ...
分类：
其他好文 时间：
2020-08-13 12:16:47
阅读次数：
60
怎么理解这两个文件？ 这两个文件本质上是一样，都是备份。 先从盘古开天地讲起，（给你设计你会怎么设计） 一开始，光有namenode进程，还并没有这两个文件的概念，当外部客户端有操作了，namenode进程把客户端的操作生成元数据，在进程中记录下来，也就是可能在内存维护一个列表数据结构之类的什么吧。 ...
分类：
其他好文 时间：
2020-07-03 12:39:53
阅读次数：
80
https://yq.aliyun.com/articles/317323 pip install --index-url https://pypi.douban.com/simple selenium==2.53.6 ...
分类：
其他好文 时间：
2020-05-01 18:32:45
阅读次数：
64
1.名称配额 (*)Hadoop分布式文件系统( HDFS )允许管理员为使用的名字（name）数量和用于各个目录的空间设置配额。名字配额和空间配额独立运行，但两种类型配额的管理和实施密切平行。 名称配额是对以该目录为根的树中文件和目录名称数量的硬限制。如果超过配额，创建文件和目录将会失败。配额与重 ...
分类：
其他好文 时间：
2020-03-23 15:29:01
阅读次数：
85
[TOC] 一、自定义路由组件 1. 为什么要自定义路由组件 在DRF中的视图家族中，有与视图家族对应的配套路由类 ，但该类只包含了视图家族中的6大接口，其余群增，群整体改，群局部改，群删4大接口没有对应的路由。所以需要我们手动自定义路由组件 2. 自定义路由组件实例 二、Django的admin后 ...
分类：
其他好文 时间：
2019-12-31 21:54:38
阅读次数：
110
1 异常信息 2 原因 因为core-site.xml 和 hdfs-site.xml配置了不一致的Hadoop.tmp.dir 目录，导致总是出现问题，删除掉core-site.xml中的tmp.dir配置，统一配置到hdfs-site.xml中 hdfs-site.xml中的dir配置 ...
分类：
Web程序 时间：
2019-05-30 22:08:22
阅读次数：
510
1、fsimage和edit的区别？ 2、列举几个配置文件优化？ --发挥 3、datanode 首次加入 cluster 的时候，如果 log 报告不兼容文件版本，那需要namenode 执行格式化操作，这样处理的原因是？ 4、MapReduce 中排序发生在哪几个阶段？这些排序是否可以避免？为什 ...
分类：
其他好文 时间：
2019-05-02 11:20:22
阅读次数：
136
hadoop version=3.1.2 生产环境中，一台namenode节点突然挂掉了，，重新启动失败，日志如下： 从报错来看，，是获取edit log日志出错。说白点，就是namenode元数据破坏了，需要修复。 解决： （1）、在出错的机器执行如下命令，一路按c或者y （2）、如果第一种没有解 ...
分类：
其他好文 时间：
2019-03-05 15:19:12
阅读次数：
443
HDFS的探究： HDFS HDFS是 Hadoop Distribute File System的缩写，是谷歌GFS分布式文件系统的开源实现，Apache Hadoop的一个子项目，HDFS基于流数据访问模式的分布式文件系统，支持海量数据的存储，允许用户将百千台组成存储集群，HDFS运行在低成本的 ...
分类：
其他好文 时间：
2019-02-22 12:25:54
阅读次数：
258
大数据生态之 HDFS HDFS工作机制 客户端上传文件时，一方面由datanode存储文件内容，另一方面有namenode负责管理block信息（切块大小，副本数量，位于datanode上的位置信息） 一丶namenode的工作职责： a) 文件的路径 b) 文件的副本数量 c) 文件切块大小 d ...
分类：
其他好文 时间：
2018-12-16 19:33:16
阅读次数：
156
