(1)Git版本库(repository) 一个简单的数据库,包括所有用来维护与管理项目的修订版本和历史的信息。 Git维护两个主要的数据结构: 对象库(object store)—在复制操作时能进行有效复制,用来支持完全分布式VCS的一种技术。 索引(index)—暂时的信息,对版本库来说是私有的 ...
分类:
其他好文 时间:
2018-02-27 15:04:54
阅读次数:
216
(一)系统准备与安装 1.准备下载centos7 (百度自行下载)可以到开源镜像站下载,速度比较快,比如清华的或者阿里的 在vmware上安装 这里我用的是vmware12 打开Vmware 选择文件 选择自定义 选择稍后安装系统 然后下一步下一步直到 选自定义 添加iso镜像 就是你要安装的系统的... ...
分类:
其他好文 时间:
2018-02-18 16:20:49
阅读次数:
156
因为学习,在网上找了很多hbase搭建的文章,感觉这篇很好,点此 搭建好后,jps查看了后台进程,发现在slave上面没有HRegionServer进程 便查看了 slave上关于HRegionServer的日志,发现报错 如下 然后网上查了一下,说是时间不同步的问题,自己使用date命令查看了一下 ...
分类:
其他好文 时间:
2018-02-08 12:23:01
阅读次数:
168
** Hadoop框架基础(五) 已经部署了Hadoop的完全分布式集群,我们知道NameNode节点的正常运行对于整个HDFS系统来说非常重要,如果NameNode宕掉了,那么整个HDFS就要整段垮掉了,所以人类思考,能不能让世界多一点爱:),我们能不能弄个备用的NameNode,一旦正在使用的N ...
分类:
其他好文 时间:
2018-01-12 22:36:14
阅读次数:
241
P2P(Peer to Peer)也就是 对等网络,即对等计算机网络,是一种在对等者(Peer)之间分配任务和工作负载的分布式应用架构[1] ,是对等计算模型在应用层形成的一种组网或网络形式。“Peer”在英语里有“对等者、伙伴、对端”的意义。因此,从字面上,P2P可以理解为对等计算或对等网络。国内 ...
分类:
其他好文 时间:
2018-01-08 17:26:58
阅读次数:
187
前言 上一篇我们讲解了Hadoop单节点的安装,并且已经通过VMware安装了一台CentOS 6.8的Linux系统,咱们本篇的目标就是要配置一个真正的完全分布式的Hadoop集群,闲言少叙,进入本篇的正题。 技术准备 VMware虚拟机、CentOS 6.8 64 bit 安装流程 我们先来回顾 ...
分类:
其他好文 时间:
2017-12-20 20:16:46
阅读次数:
175
Hadoop集群支持三种运行模式:单机模式、伪分布式模式,全分布式模式,下面介绍下在Ubuntu下的部署 (1)单机模式 默认情况下,Hadoop被配置成一个以非分布式模式运行的独立JAVA进程,适合开始时的调试工作。在eclipse中开发用的就是单机模式,这时不用HDFS。 好的如果没有安装JDK ...
分类:
系统相关 时间:
2017-12-09 18:03:40
阅读次数:
351
Kafka集群环境搭建步骤 1、环境准备:在win7系统 内存(8G)的硬件环境下,搭建3台centOS虚拟机 1.1给机器配置主机名(ip需要固定) 执行命令:vim /etc/hosts,配置主机名如下: 172.16.60.208 kafka01 172.16.60.211 kafka02 1 ...
分类:
其他好文 时间:
2017-11-17 00:13:04
阅读次数:
180
【伪分布式】 ①[core-site.xml] <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost/</value> </property></configuration> ②[mapred-sit ...
分类:
其他好文 时间:
2017-11-13 19:48:29
阅读次数:
123
转自:http://blog.csdn.net/michaelwubo/article/details/50879832 一、使用Hadoop URL读取数据 其中,我使用到的jar包有: hadoop-core的版本一定要和分布式环境上安装的hadoop版本保持一致,不然会报错: 12/09/11 ...
分类:
编程语言 时间:
2017-11-11 00:29:01
阅读次数:
329