1.单机(非分布式)模式 这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。 2.伪分布式运行模式 这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,S ...
分类：
其他好文 时间：
2019-01-27 13:00:41
阅读次数：
191
#### 大数据课程第二天 HDFS配置集群的原理分析 ssh免密登陆 通过工具生成公私钥对 公钥发送远程主机 修改slave文件 HDFS的集群搭建 ssh免密登陆 清除mac地址的影响 设置网络 安装hadoop,jdk NameNode持久化[了解] 什么是NameNode的持久化 FSIma ...
分类：
其他好文 时间：
2019-01-26 18:01:48
阅读次数：
194
[TOC] Hadoop伪分布式的搭建 0x00事先准备 准备jdk和Hadoop的安装包。建议删掉自带的Java，~~要不然后面配置环境变量会有坑~~ 然后删除涉及jdk的几个包 之后将jdk和Hadoop上传到机子中就可以正式开始搭建了 0x01 ssh配置 同样是使用rpm查看是否安装ssh ...
分类：
其他好文 时间：
2019-01-25 21:06:53
阅读次数：
213
环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 hadoop-3.1.1 伪分布式：HDFS和YARN 伪分布式搭建，事先启动HDFS和YARN 第一步：开发WordCount示例 第二步：程序打jar包：M ...
分类：
其他好文 时间：
2019-01-16 01:09:45
阅读次数：
481
第1章 课程简介课程简介及期望学习本门课程可以达到的目标。对本门课程所用到的技术进行概览第2章 HBase简介与环境部署介绍HBase是什么，能做什么，有哪些优缺点，适用于哪些应用场景，与常用关系数据库有什么不同。并配置安装Hadoop伪分布式集群，HBase伪分布式集群。为后面章节实战测试提供环境 ...
分类：
编程语言 时间：
2019-01-13 18:04:14
阅读次数：
227
Hadoop： 数据存储模块 数据计算模块 doug cutting //hadoop之父 //分布式文件系统GFS，可用于处理海量网页的存储 //分布式计算框架MAP REDUCE，可用于处理海量网页的索引计算问题 hadoop: GFS > NDFS（Nutch distributed file ...
分类：
其他好文 时间：
2019-01-08 21:00:21
阅读次数：
221
折腾了好几天的问题，终于解决了。虽然这次遇到的问题没在网络上找到答案，不过，解决问题的过程或多或少受到了网上一些答案的启发。下面我将分享自己遇到的问题，并提供解决方法。 （一）、相关资料 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html ...
分类：
其他好文 时间：
2019-01-04 23:11:09
阅读次数：
265
hadoop的伪分布式安装流程如下所示： 其中core-site.xml和hdfs-site.xml是两个很重要的配置文件。 core-site.xml hadoop.tmp.dir用来存放hadoop运行过程中临时文件的目录，目录指定为/usr/local/hadoop/tmp，如果不设置这个目录 ...
分类：
其他好文 时间：
2019-01-03 20:42:36
阅读次数：
300
环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 hadoop-3.1.1 伪分布式就一台机器：主节点和从节点都在一个机器上，这里我们使用：node1 192.168230.11 一、平台和软件平台：GNU/L ...
分类：
其他好文 时间：
2019-01-02 12:40:17
阅读次数：
129
在虚拟机上模拟redis集群，由于redis的投票机制，一个集群至少需要3个redis节点，如果每个节点设置一主一备，一共需要六台虚拟机来搭建集群，此处，在一台虚拟机上使用6个redis实例来模拟搭建一个伪分布式的redis集群。 1.安装ruby 搭建redis集群需要ruby脚本，需要安装rub ...
分类：
其他好文 时间：
2018-12-31 10:26:10
阅读次数：
225
