一、过程分析 1、准备3台客户机(关闭防火墙、修改静态ip、主机名称) 2、安装JDK 3、配置环境变量 4、安装Hadoop 5、配置集群 6、单点启动 7、配置ssh免密登录 8、群起并测试集群 二、编写集群分发脚本 xsync 1、scp(secure copy)安全拷贝 1)scp定义 sc ...
分类:
其他好文 时间:
2018-11-06 00:49:05
阅读次数:
213
准备环境 CentOS 7 jdk1.8 (这里建议使用1.8版本的jdk 链接:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html) hadoop-2.7.3.tar.gz ( 链 ...
分类:
其他好文 时间:
2018-11-05 20:09:38
阅读次数:
237
起步 - Git 简史 同生活中的许多伟大事物一样,Git 诞生于一个极富纷争大举创新的年代。 同生活中的许多伟大事物一样,Git 诞生于一个极富纷争大举创新的年代。 Linux 内核开源项目有着为数众多的参与者。 绝大多数的 Linux 内核维护工作都花在了提交补丁和保存归档的繁琐事务上(1991 ...
分类:
其他好文 时间:
2018-11-02 14:32:10
阅读次数:
220
在2018年10月18-19日召开的第五届中国国际大数据大会上,金融级分布式数据库厂商巨杉数据库,荣获“2018年度金融大数据行业.创新产品奖”。 SequoiaDB巨杉数据库成立6年来一直坚持技术驱动产品,专注打造金融级分布式数据库,成为中国首次入选Gartner数据库报告的数据库厂商。目前,巨杉 ...
分类:
其他好文 时间:
2018-10-25 00:19:46
阅读次数:
355
一个虚拟机 1.以 NAT网卡模式 装载虚拟机 2.最好将几个用到的虚拟机修改主机名,静态IP /etc/network/interface,这里 是 s101 s102 s103 三台主机 ubantu,改/etc/hostname文件 3.安装ssh 在第一台主机那里s101 创建公私密匙 ss ...
分类:
其他好文 时间:
2018-10-21 10:55:13
阅读次数:
177
学习大数据首先要了解大数据的学习路线,首先搞清楚先学什么,再学什么,大的学习框架知道了,剩下的就是一步一个脚印踏踏实实从最基础的开始学起。这里给大家普及一下学习路线:hadoop生态圈——Strom——Spark——算法。所以学习hadoop是第一步,在这里声明一下,在学习hadoop之前需要有ja ...
分类:
其他好文 时间:
2018-10-18 13:58:56
阅读次数:
114
1、在虚拟机上安装Hadoop完全分布式准备工作 1)这里使用的是VMWare软件,在VMWare上安装一个CentOS6.5,并再克隆两个机器配置相关MAC地址,以及配置机器名 2)三台虚拟机配置好静态IP以及网络环境,以及SSH免密码登录(自行参考资料) 3)安装Java环境(自行参考资料) 4 ...
分类:
其他好文 时间:
2018-10-13 19:48:27
阅读次数:
287
原文链接:https://cloud.tencent.com/community/article/129032 一、消息队列(MQ)概述 消息队列(Message Queue),是分布式系统中重要的组件,其通用的使用场景可以简单地描述为: 当不需要立即获得结果,但是并发量又需要进行控制的时候,差不多 ...
分类:
其他好文 时间:
2018-10-13 12:53:25
阅读次数:
195
Hadoop及HBase集群部署 一、 集群环境 1. 系统版本 虚拟机:内存 16G CPU 双核心 系统: CentOS 7 64位 系统下载地址: http://124.202.164.6/files/417500000AB646E7/mirrors.163.com/centos/7/isos ...
分类:
其他好文 时间:
2018-09-07 21:09:41
阅读次数:
144