github：项目版本控制器 git和传统的版本控制器相比，最大的一点是，界面简单，给与非线性开发模式的强有力的支持，完全分布式等。 对于完全分布式的实现，我的理解是这个样子的。这多少要涉及到一点它的存储原理，check一个源码的时候，git会将整个项目的所有源代码下载到本地来。对于远端的仓库项目来 ...
分类：
其他好文 时间：
2016-12-14 22:01:09
阅读次数：
153
为了将Hadoop和Spark的安装简单化，今日写下此帖。 首先，要看手头有多少机器，要安装伪分布式的Hadoop+Spark还是完全分布式的，这里分别记录。 1. 伪分布式安装 伪分布式的Hadoop是将NameNode，SecondaryNameNode，DataNode等都放在一台机器上执行， ...
分类：
系统相关 时间：
2016-12-11 12:33:58
阅读次数：
306
一、Scala安装 下载目录http://www.scala-lang.org/download/ 修改/etc/profile。 然后测试 二、安装Spark 官网下载地址：http://spark.apache.org/downloads.html 需要下载预编译版本 我当时直接从花圈的地方复制 ...
分类：
其他好文 时间：
2016-11-17 08:00:54
阅读次数：
422
超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含，Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Had...
分类：
其他好文 时间：
2016-10-31 09:18:27
阅读次数：
340
Hbase安装模式介绍 单机模式 1> Hbase不使用HDFS,仅使用本地文件系统 2> ZooKeeper与Hbase运行在同一个JVM中 分布式模式– 伪分布式模式1> 所有进程运行在同一个节点上,不同进程运行在不同的JVM当中2> 比较适合实验测试– 完全分布式模式1> 进程运行在多个服务器 ...
分类：
其他好文 时间：
2016-10-09 23:14:35
阅读次数：
251
集中式版本控制系统：版本是集中存放在中央服务器的，做项目的时候要先从中央服务器里面取得最新版本，做完项目然后在推送上传到中央服务器进行储存。缺点是没有网络或者是网速不够快，上传和下载文件要很长时间，不方便也不安全。 分布式版本控制系统：在自己电脑上创建一个本地版本库，修改，上传在本地进行就可以，方便 ...
分类：
其他好文 时间：
2016-09-28 22:50:40
阅读次数：
209
HDFS HA 集群搭建： DN（DataNode）：3个；NN（NameNode）：2；ZK(ZooKeeper)：3（大于1的奇数个）；ZKFC:和NN在同一台机器；JN：3；RM(ResourceManager):1；DM(DataManager):3个；与DN在同一台，就近原则 √表示在该机 ...
分类：
其他好文 时间：
2016-09-27 00:20:35
阅读次数：
173
网上有的hadoop，zookeeper，hbase，apache-hive相关文档，具体大家可以百度具体了解，本文不多做介绍，本文从最基本的环境搭建入手，纯环境搭建。搭建次环境唯一要考虑就是软件相互之间的兼容性，及服务器内存（最好大点，虚拟机2G以上），当然也可以通过调启动参数，调小启动..
分类：
Web程序 时间：
2016-09-15 15:16:07
阅读次数：
307
本文是将三台电脑用路由器搭建本地局域网，系统为centos6.5,已经实验验证，搭建成功。 一、设置静态IP&修改主机名&关闭防火墙（all-root）（对三台电脑都需要进行操作） 0.将三台电脑安装centos6.5系统 1.设置静态ip（便于机器之间的通信，防止路由器电脑重启后，ip变化，导致不 ...
分类：
其他好文 时间：
2016-08-23 14:41:24
阅读次数：
238
一、Hadoop的3中运行模式 1.1、单机模式。安装简单，几乎不用作任何配置，但仅限于调试用途； 1.2、伪分布式模式。在单节点上同时启动namenode、secondary namenode、datanode、JobTracker、TaskTracker 5个进程，模拟分布式运行的各个节点。 1 ...
分类：
其他好文 时间：
2016-08-20 00:07:30
阅读次数：
142
