ubuntu系统下: https://blog.csdn.net/u014636511/article/details/80171002 centos系统下: https://blog.csdn.net/Acecai01/article/details/82696363 ...
分类：
其他好文 时间：
2019-03-18 22:22:26
阅读次数：
129
Spark运行模式 Local 多用于本地测试，如在eclipse，idea中写程序测试等。 Standalone Standalone是Spark自带的一个资源调度框架，它支持完全分布式。 Yarn Hadoop生态圈里面的一个资源调度框架，Spark也是可以基于Yarn来计算的。 Mesos 资 ...
分类：
其他好文 时间：
2019-02-23 01:35:09
阅读次数：
214
第4章 Hadoop运行模式4.1 本地运行模式4.1.1 官方Grep案例4.1.2 官方WordCount案例4.2 伪分布式运行模式4.2.1 启动HDFS并运行MapReduce程序4.2.2 启动YARN并运行MapReduce程序4.2.3 配置历史服务器4.2.4 配置日志的聚集4.2 ...
分类：
其他好文 时间：
2019-02-03 10:26:29
阅读次数：
284
1.单机(非分布式)模式 这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。 2.伪分布式运行模式 这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,S ...
分类：
其他好文 时间：
2019-01-27 13:00:41
阅读次数：
191
搭建大数据hadoop环境，遇到很多问题，这里记录一部分，以备以后查看。 【遇到问题】、在安装配置完hadoop以后，需要格式化namenode,输入指令：hadoop namenode -format，报错误信息：hadoop： command not found 网上查阅资料，建议检查hadoo ...
分类：
其他好文 时间：
2019-01-24 11:07:03
阅读次数：
141
搭建大数据hadoop完全分布式环境，遇到很多问题，这里记录一部分，以备以后查看。 1、在安装配置完hadoop以后，需要格式化namenode,输入指令：hadoop namenode -format，报错误信息：hadoop： command not found 本文网址：https://www ...
分类：
其他好文 时间：
2019-01-24 11:01:41
阅读次数：
161
在Windows里，使用虚拟机软件Vmware WorkStation搭建三台机器，操作系统Ubuntu16.04,下面是IP和机器名称。 【实验目标】：在这三台机器之间实现免密登录 【搭建准备】 1、三台机器上已建立一个共同的账号：hadoop，口令一致 【设置步骤】 1、在主节点master上设 ...
分类：
系统相关 时间：
2019-01-24 01:18:10
阅读次数：
276
【目的】：学习大数据 在此记录搭建大数据的过程。 【系统环境】 宿主机操作系统：Win7 64位 虚拟机软件：Vmware workstation 12 虚拟机：Ubuntu 16 64位桌面版 【搭建过程】 一、准备 1、安装文件准备 Hadoop软件： JDK： Ubuntu 16的安装软件 2 ...
分类：
系统相关 时间：
2019-01-17 15:12:57
阅读次数：
220
CentOS配置SSH免密码登录后,仍提示输入密码 [接-(准备完全分布式主机的 ssh)] CentOS配置SSH无密码登录需要3步： 生成公钥和私钥 导入公钥到认证文件,更改权限 测试 1.生成公钥和私钥 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 默认在 ...
分类：
其他好文 时间：
2018-12-19 21:10:31
阅读次数：
156
