一、格式 1、父类 bin/hadoop fs 命令 2、子类 bin/hdfs dfs 命令 二、命令 1、help 作用：获取帮助文档格式：hadoop fs -help 命令名称 2、ls 作用：查看HDFS路径的文件 格式： hadoop fs -ls 路径 hadoop fs -ls -R ...
分类：
系统相关 时间：
2020-09-10 23:08:31
阅读次数：
47
写在前面 首先我们来看看需求，以下是某博客的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（好友关系是单向的）： A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A, ...
分类：
其他好文 时间：
2020-09-10 22:33:47
阅读次数：
36
体验平台简介面向开发者和中小企业打造的一站式、全云端的开发平台，打开浏览器就可以开发、调试、上线，所测即所得，并结合无服务器的模式，重新定义云原生时代的研发工作方法论。旨在降低开发者上手成本和中小企业的启动成本、运营成本、以及突发流量带来的运维风险。教程介绍本教程介绍如何在Linux实例上快速搭建一个Hadoop伪分布式环境。场景体验场景内容选自阿里云体验实验室阿里云体验实验室提供一台配置了Cen
分类：
其他好文 时间：
2020-09-08 21:06:59
阅读次数：
61
HDFS概述 HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常 适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存 储文件, 并且提供统一的访问接 ...
分类：
其他好文 时间：
2020-09-08 20:40:45
阅读次数：
34
一.环境介绍1.centos7.6vmware虚拟机主节点190.168.3.250slave190.168.3.251slave190.168.3.2522.每个节点配置好hosts解析3.下载好软件https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.htmlhadoop-3.
分类：
其他好文 时间：
2020-09-07 19:16:59
阅读次数：
68
Hive是大数据领域常用的组件之一，主要用于大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解
分类：
其他好文 时间：
2020-09-04 16:58:58
阅读次数：
42
1 Sqoop概述 传统的应用程序管理系统，即应用程序与使用RDBMS的关系数据库的交互，是产生大数据的来源之一。由RDBMS生成的这种大数据存储在关系数据库结构中的关系数据库服务器中。 当大数据存储和Hadoop生态系统的MapReduce，Hive，HBase，Cassandra，Pig等分析器 ...
分类：
其他好文 时间：
2020-09-03 16:44:55
阅读次数：
40
Block是文件块，HDFS中是以Block为单位进行文件的管理的，一个文件可能有多个块，每个块默认是3个副本，这些块分别存储在不同机器上。块与文件之前的映射关系会定时上报Namenode。HDFS中一个块的默认大小是64M，其大小由参数dfs.block.size控制。这里面先引申几个问题出来： ...
分类：
其他好文 时间：
2020-09-03 16:43:21
阅读次数：
40
前端页面性能调优较常用的工具有Yslow和PageSpeed（google），小编以Yslow工具做下前端性能调优小结：安装Yslow要先安装Firebug（以火狐为例），打开Firebug窗口，选择Yslow选项。点击RunTest运行Yslow。调优方法如下：MakefewerHTTPrequests：尽量使用少的http请求，比如把多个js，css进行合并UseaCDN：尽量使用cdn，减少
分类：
其他好文 时间：
2020-08-26 18:55:35
阅读次数：
59
上一篇：Java面试备战篇——基础篇（三）1、知识点汇总JVM是Java运行基础,面试时一定会遇到JVM的有关问题,内容相对集中,但对只是深度要求较高。其中内存模型,类加载机制,GC是重点方面.性能调优部分更偏向应用,重点突出实践能力.编译器优化和执行模式部分偏向于理论基础,重点掌握知识点.需了解内存模型各部分作用,保存哪些数据.类加载双亲委派加载机制,常用加载器分别加载哪种类型的类.GC分代回收
分类：
编程语言 时间：
2020-08-20 18:43:30
阅读次数：
62
