集群时间同步 **如果服务器在公网环境(能连接外网)，可以不采用集群时间同步。**因为服务器会定期和公网时间进行校准。 如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。 时间服务器配置(必须root用户) 首先需要设置一个时间服务器作为基准，其 ...
分类：
其他好文 时间：
2021-06-28 17:56:59
阅读次数：
0
自己学习Hadoop时，整理的资料，方便以后查看，希望能帮到大家，有什么问题欢迎大家指出 一、Hadoop是什么？其核心又是什么？ Hadoop历史 雏形开始于2002年的Apache的Nutch，Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜 ...
分类：
其他好文 时间：
2020-07-23 22:35:14
阅读次数：
65
大数据技术开篇之Hadoop入门【hdfs】 学习都是从了解到熟悉的过程，而学习一项新的技术的时候都是从这个技术是什么？可以干什么？怎么用？如何优化？这几点开始。今天这篇文章分为两个部分。一、hadoop概述 二、hadoop核心技术之一的hdfs的讲解。 【hadoop概述】 一、hadoop是什 ...
分类：
其他好文 时间：
2020-04-07 20:10:19
阅读次数：
61
hadoop入门分析（一） 基本架构 ? 这里呢我们将简单的对大数据进行一个初步的认识，毕竟大家都知道，无论是学习一项新技术还是一项新的什么其他的技能，光靠死记硬背是很难背下来的。重要的是对于你要掌握的东西的一个理解，有了理解，那就容易多了不是。所以人狠话不多，废话不多说，接下来就和大家一起探讨下大 ...
分类：
其他好文 时间：
2020-01-13 16:10:29
阅读次数：
65
第1章 大数据概论 1.1 大数据概念 大数据概念如图2-1 所示。 1.2 大数据特点（4V） 大数据特点如图2-2，2-3，2-4，2-5所示 1.3 大数据应用场景 大数据应用场景如图2-6，2-7，2-8，2-9，2-10，2-11所示 1.4 大数据发展前景 大数据发展前景如图2-12，2 ...
分类：
其他好文 时间：
2019-12-22 00:26:39
阅读次数：
82
学习Hadoop集群环境搭建是Hadoop入门必经之路。搭建分布式集群通常有两个办法： 要么找多台机器来部署（常常找不到机器） 或者在本地开多个虚拟机（开销很大，对宿主机器性能要求高，光是安装多个虚拟机系统就得搞半天……）。 那么，问题来了！ 有没有更有可行性的办法？ 提到虚拟化，Docker最近很 ...
分类：
其他好文 时间：
2019-09-04 21:44:10
阅读次数：
159
1大数据概率大数据是指在一定时间内无法用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息增长。主要解决海量的存储和海量数据的分析计算问题。1.1大数据的特点Volume（大量）Velocity（高速）Variety（多样）Value（低价值密度）1.2大数据应用场景物流仓储：大数据分析系统助力商家精细化运营、提
分类：
其他好文 时间：
2019-08-31 09:13:55
阅读次数：
115
1、Hadoop生态概况Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下2、HDFS源自谷歌的GFS论文，发表于2013年10月，HDFS是GFS的克隆版，HDFS是Hadoop体系中
分类：
其他好文 时间：
2019-05-28 12:54:25
阅读次数：
145
第1章 大数据概论 1.1 大数据概念 大数据概念如图2-1 所示。 图2-1 大数据概念 1.2 大数据特点（4V） 大数据特点如图2-2，2-3，2-4，2-5所示 图2-2 大数据特点之大量 图2-3 大数据特点之高速 图2-4 大数据特点之多样 图2-5 大数据特点之低价值密度 1.3 大数... ...
分类：
其他好文 时间：
2019-04-02 09:15:39
阅读次数：
216
三、配置Hadoop 1、设置$HADOOP_HOME/conf/hadoop-env.sh 这个文件中设置的是Hadoop运行时需要的环境变量，在1.2.1版中共有19个环境变量，如下： 变量名称 默认值 说明 JAVA_HOME 设置JDK的路径，这个必须设置，否则Hadoop无法启动，值如： ...
分类：
其他好文 时间：
2019-01-20 20:06:30
阅读次数：
197
