1.准备Linux环境 1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok 回到window ...
分类：
其他好文 时间：
2019-09-03 11:29:20
阅读次数：
65
centos7搭建伪分布式集群 需要 centos7虚拟机一台； jdk-linux安装包一个 hadoop-2.x安装包1个（推荐2.7.x） 一、设置虚拟机网络为静态IP（最好设成静态，为之后编程提供方便，不设置静态ip也可以） 1、进入网络配置查看ip 2、选择NAT模式链连接 3、点击NAT ...
分类：
其他好文 时间：
2019-09-02 22:11:13
阅读次数：
119
a.配置项(在分布式环境中配置) 1.RPC访问地址 mapreduce.jobhistory.address 2.HTTP访问地址 mapreduce.jobhistory.webapp.address b.（伪分布式环境中直接使用即可） mr-jobhistory-daemon.sh start ...
分类：
其他好文 时间：
2019-08-22 10:57:02
阅读次数：
84
原文链接：https://blog.csdn.net/xiaohuozi_2016/article/details/54743992 最近在自己装有win7系统的thinkpad电脑上，给安装了Ubuntu16.04双系统。 想在ubuntu下配置一个hadoop伪分布式，最首要的就是要给系统配置一 ...
分类：
系统相关 时间：
2019-08-14 12:27:11
阅读次数：
117
rediscluster单机伪分布式搭建---3主3从3哨兵集群最近公司引进微服务框架,之前的一台redis的预存60G已经无法满足现在的260G业务需要,经过一番考虑搭建了这套集群.为了方便我就用一台服务器演示,生产环境中不建议这么做(没啥用),只为记录一下过程,至于精细化的配置需要在生产中自行研究演示环境[root@localhost~]#cat/etc/redhat-releaseCentO
分类：
其他好文 时间：
2019-08-13 01:01:58
阅读次数：
466
Spark大数据平台有使用一段时间了，但大部分都是用于实验而搭建起来用的，搭建过Spark完全分布式，也搭建过用于测试的伪分布式。现在是写一遍随笔，记录一下曾经搭建过的环境，免得以后自己忘记了。也给和初学者以及曾经挖过坑的人用作参考。 Hive on Spark是Hive跑在Spark上，用的是Sp ...
分类：
其他好文 时间：
2019-08-10 21:07:25
阅读次数：
138
JDK安装 设置hostname 设置机器hosts 创建jdk目录 上传jdk包 打开winSCP工具，通过winscp工具上传java jdk到linux 的/opt/soft文件夹下 解压jdk 将jdk文件解压到module文件夹下,命令如下： 设置jdk的环境变量 在文件末尾添加jdk的环 ...
分类：
其他好文 时间：
2019-08-10 19:18:29
阅读次数：
131
自己的主机上的Hadoop版本是2.7.6，是测试用的伪分布式Hadoop，在前段时间部署了Hive on Spark，但由于没有做好功课，导致了Hive无法正常启动，原因在于Hive 3.x版本不适配Hadoop 2.x版本。之前我在学校服务器上部署的Hadoop版本是3.1.2，现打算将自己的从 ...
分类：
其他好文 时间：
2019-08-09 23:24:41
阅读次数：
140
hadoop集群安装模式 1）单机模式 直接解压，无需任何配置。主要用于测试代码。没有分布式文件系统。 2）伪分布式 完全分布式的一种形式，只是所有的进程都配置要一个节点上。有分布式文件系统，只不过是这个文件系统只有一个节点。 3）完全分布式 包含主节点和从节点，主节点namenode只有一个（一般 ...
分类：
其他好文 时间：
2019-08-01 09:43:21
阅读次数：
117
本周学习了-虚拟机和Unbuntu系统的安装，hadoop伪分布式安装，windows与ununtu系统通过File liza交互，HDFS与java，本地文件系统的交互 虚拟机 ubuntu系统 hadoop伪分布式安装成功 HDFS与java交互 ...
分类：
其他好文 时间：
2019-07-29 10:05:20
阅读次数：
102
