前言 准备： 7Zip下载：压缩工具，支持*.tar.gz格式的压缩文件解压 Hadoop下载：http://archive.apache.org/dist/hadoop/core/，笔者选择3.0.0版本下载，官网下载的网速如同断网。。。 winutils下载：https://github.com ...
HDFS写数据的流程 HDFS shell上传文件a.txt，300M 对文件分块，默认每块128M。 shell向NameNode发送上传文件请求 NameNode检测文件系统目录树，看能否上传 NameNode向shell发送允许上传通知 shell向NameNode发送上传block1，备份为 ...
分类：
其他好文 时间：
2020-03-29 01:09:38
阅读次数：
66
使用truncate仅可删除内部表数据，不可删除表结构 truncate table 表名 （truncate可删除所有的行，但是不能删除外部表） 使用shell命令删除外部表 hdfs -dfs -rm -r 外部表路径 使用 drop 可删除整个表 drop table 表名 ...
分类：
其他好文 时间：
2020-03-28 20:08:48
阅读次数：
72
（1）Hadoop1.x和2.x之间的区别 Hadoop 1.0内核主要由两个分支组成：MapReduce和HDFS，在高可用、扩展性等方面存在问题 1）HDFS存在的问题 1.NameNode单点故障，难以应用于在线场景。 2.NameNode压力过大，且内存受限，影响扩展性。 2）MapRedu ...
分类：
其他好文 时间：
2020-03-28 17:42:52
阅读次数：
69
之前用java做Hadoop相关项目没有遇到这种问题，今天使用python操作HDFS遇到这个问题，首先是权限之类的问题，在core site.xml中配置可以访问的hosts和groups， 具体： 注意xxx是管理用户名，然而我配置之后仍然出现not allowed错误，心想如果是我连接的这个用 ...
分类：
其他好文 时间：
2020-03-28 13:19:33
阅读次数：
72
Hadoop 02 核心介绍 1. HDFS HDFS（Hadoop Distributed File System） 是一个 Apache Software Foundation 项目, 是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB ...
分类：
其他好文 时间：
2020-03-27 11:15:08
阅读次数：
64
微软在Ignite2019大会上正式发布了新一代数据库产品SQLServer2019。使用统一的数据平台实现业务转型SQLServer2019附带ApacheSpark和HadoopDistributedFileSystem（HDFS），可实现所有数据的智能化。SQLServer2019的亮点SQLServer是数据集成的中心。通过SQLserver和Spark为结构化和非结构化数据提供转型洞察力
分类：
数据库 时间：
2020-03-26 10:48:50
阅读次数：
131
1、代码管理-->主要开源方案有gitlab、gerrit+repo、gogs 2、任务执行-->jenkins 3、自动化测试-->python 4、构件存储-->hdfs、nexus 5、日志管理-->ELK 6、部署工具-->ansible 7、系统集群高可用-->k8s 8、监控-->zab ...
分类：
其他好文 时间：
2020-03-26 01:39:44
阅读次数：
193
Hbase架构原理解析 https://developer.51cto.com/art/201904/595698.htm HBase 架构 HBase 的架构似乎也是 master-slave 架构，和 HDFS 有点像，HMaster 是用来管理集群，HRegionServer 是真正存储数据的 ...
分类：
其他好文 时间：
2020-03-26 01:03:42
阅读次数：
70
1.名称配额 (*)Hadoop分布式文件系统( HDFS )允许管理员为使用的名字（name）数量和用于各个目录的空间设置配额。名字配额和空间配额独立运行，但两种类型配额的管理和实施密切平行。 名称配额是对以该目录为根的树中文件和目录名称数量的硬限制。如果超过配额，创建文件和目录将会失败。配额与重 ...
分类：
其他好文 时间：
2020-03-23 15:29:01
阅读次数：
85
