Hadoop集群完全分布式配置部署 下面的部署步骤，除非说明是在哪个服务器上操作，否则默认为在所有服务器上都要操作。为了方便，使用root用户。 1.准备工作 1.1 centOS6服务器3台 手动指定3服务器台以下信息： hostname IP mask gateway DNS 备注 master ...
分类：
其他好文 时间：
2018-06-20 00:54:11
阅读次数：
249
Hadoop伪分布模式配置部署 一、实验介绍 Hadoop伪分布模式配置部署 一、实验介绍 1.1 实验内容 hadoop配置文件介绍及修改 hdfs格式化 启动hadoop进程，验证安装 1.2 实验知识点 hadoop核心配置文件 文件系统的格式化 测试WordCount程序 1.3 实验环境 ...
分类：
其他好文 时间：
2018-06-20 00:09:35
阅读次数：
244
最近在学习如何使用centos部署Hadoop环境，使用了三台虚拟机，但是到实现三台机器免密登陆的时候出现了问题，当我执行命令时： 产生了报错 这我就很绝望了，因为看的教程都是说使用这个命令，最后发现执行这个命令就解决问题了： 然后在node1和node2上分别执行其他两个节点的ssh-copy-i ...
分类：
其他好文 时间：
2018-06-13 15:08:10
阅读次数：
598
一、概述概念：是一个可靠的、可伸缩的、分布式计算的开源软件。是一个框架，允许跨越计算机集群的大数据及分布式处理，使用简单的编程模型（mapreduce）可从单台服务器扩展至几千台主机，每个节点提供了计算和存储功能。不依赖于硬件处理HA，在应用层面实现特性4V：volumn体量大velocity速度快variaty样式多value价值密度低模块：hadoopcommon公共类库，支持其他模块HDFS
分类：
其他好文 时间：
2018-05-22 16:41:52
阅读次数：
210
参考博客: https://www.unixhot.com/article/46 使用ambari 快速部署hadoop 集群 Ambari是 Apache Software Foundation 中的一个顶级项目。Ambari可以创建、管理、监控 Hadoop 的集群。包括整个Hadoop生态圈（ ...
分类：
其他好文 时间：
2018-05-18 17:12:58
阅读次数：
277
简介：目前业界主流存储与分析平台以Hadoop为主的开源生态圈，MapReduce作为Hadoop的数据集的并行运算模型，除了提供Java编写MapReduce任务外，还兼容了Streaming方式，可以使用任意脚本语言来编写MapReduce任务，优点是开发简单且灵活。
分类：
编程语言 时间：
2018-04-08 18:18:03
阅读次数：
199
1、hadoop：由java语言开发的开源的分布式计算平台。可提供PB（100万G）存储。hadoop是可靠的，高效的，可伸缩的。hadoop假设计算元素和存储会失败，维护多个副本，确保针对失败的节点重分布处理。文件以块的方式存储.2、hadoop最核心的是hdfs和mapreduce，hdfs为海量存储提供存储。mapreduce为海量数据提供计算。mapreduce分为jobtrackers和
分类：
其他好文 时间：
2018-04-08 14:30:56
阅读次数：
111
Hadoop集群部署 1、Hadoop集群配置 1）网络配置：为每台机器配置号固定IP、设置开机自动连接 查看网卡的信息找到激活的网卡: dmesg | grep -i 'eth' 通过ethtool $ethx来查看网卡详细信息，x为网卡编号: # ethtool eth4 [root@cloud ...
分类：
其他好文 时间：
2018-02-26 18:19:20
阅读次数：
246
