一、格式 1、父类 bin/hadoop fs 命令 2、子类 bin/hdfs dfs 命令 二、命令 1、help 作用：获取帮助文档格式：hadoop fs -help 命令名称 2、ls 作用：查看HDFS路径的文件 格式： hadoop fs -ls 路径 hadoop fs -ls -R ...
分类：
系统相关 时间：
2020-09-10 23:08:31
阅读次数：
47
1.hive本身对union这样的命令进行了优化 2.hdfs数据本地化率对hive性能产生影响 在数据大小一定的情况下，500个128M的文件和2个30G的文件 跑hive任务，性能是有差异的，两者最大的区别在于，后者在读取文件时，需要跨网络传输，而前者为本地读写。数据本地化率问题。 3.不同数据 ...
分类：
其他好文 时间：
2020-09-09 19:07:41
阅读次数：
34
HDFS概述 HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常 适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存 储文件, 并且提供统一的访问接 ...
分类：
其他好文 时间：
2020-09-08 20:40:45
阅读次数：
34
Block是文件块，HDFS中是以Block为单位进行文件的管理的，一个文件可能有多个块，每个块默认是3个副本，这些块分别存储在不同机器上。块与文件之前的映射关系会定时上报Namenode。HDFS中一个块的默认大小是64M，其大小由参数dfs.block.size控制。这里面先引申几个问题出来： ...
分类：
其他好文 时间：
2020-09-03 16:43:21
阅读次数：
40
主攻个人数据分布式存储的HDFS的优势在哪？互联网的纪元中，数据就是一切，互联网环境下任何人的一切活动都会在网络中留下属于自己的印迹—数据碎片，这些我们不经意间留下的数据碎片如果被有心人收集、利用起来会对我们个人的兴趣爱好甚至是隐私产生不利的影响。不知道你有没有这样的体验，当你用搜索引擎了解某种商品之后，某些电商平台会给你不断的推送类似的商品，显然这不是巧合而是你的某些数据“出卖”了你的意图。随着
分类：
其他好文 时间：
2020-09-02 16:46:50
阅读次数：
47
一、hdfs的命令行使用 1、ls 格式：hdfs dfs -ls URI 作用：类似于Linux的ls命令，显示文件列表 2、-ls -R 格式 : hdfs dfs -ls -R URI 作用: 在整个目录下递归执行ls, 与UNIX中的ls-R类似 3、mkdir 格式：hdfs dfs [- ...
分类：
其他好文 时间：
2020-08-28 11:45:33
阅读次数：
51
VSCode配置指南 常用功能 快捷键 ctrl+shift+p: 打开命令面板 ctrl+p: 打开ctrl+p模式 窗口 ctrl+n: 新建一个文件 ctrl+w: 关闭当前的文件 ctrl+tab: 在文件之间切换 ctrl+\: 切出新的编辑器窗口 ctrl+1, ctrl+2, ctrl ...
分类：
其他好文 时间：
2020-08-25 15:54:25
阅读次数：
42
1.flume简介 Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2.安装和使用说明 ...
分类：
Web程序 时间：
2020-08-13 22:07:34
阅读次数：
83
一、hdfs概述 介绍： 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统 。HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数 ...
分类：
其他好文 时间：
2020-08-13 12:16:47
阅读次数：
60
1.OSI开放式系统互联1）国际标准化组织（ISO）制定2）定义了不同计算机互联的标准3）设计和描述，计算机网络通信的框架全世界网络通信的工作分为7层：应用层表示层会话层传输层网络层数据链路层物理层制定OSI优势：开放厂商兼容性易于理解、学习模块化工程故障排除2.OSI：7层次结构/功能应用层：应用程序、原始数据，如：QQ、爱奇艺表示层：格式、压缩、加密，如：快速快递、安全快递、鸡毛信会话层：保持
分类：
系统相关 时间：
2020-08-13 12:16:02
阅读次数：
95
