1，hdfs的概述 HDFS的文件块：（面试也是常聊的） 块级大小可通过配置参数（dfs.dlocksize）来规定的，如果在完全分布式情况下，默认hadoop2.x版本大是128M，在本本地模式下是64M的。老版本是64M。 传输一个由多个块组成的文件的时间取决于磁盘传输速率。 如果寻址时间约为1 ...
分类：
其他好文 时间：
2018-12-09 17:22:56
阅读次数：
112
本文描述了如何安装、配置和管理有实际意义的Hadoop集群，安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。通常，集群里一台机器被指定为 NameNode，另一台不同的机器被指定为DataNode。 ...
分类：
其他好文 时间：
2018-11-14 14:14:01
阅读次数：
238
内容 由于前两节的内容我们知道，开启了preferIpAddress后，Eureka的伪分布式部署会提示replica不可用。这一节我们讲解如何在生产环境下部署完全分布式的Eureka集群，确保开启了preferIpAddress后replica的可用性。 版本 IDE：IDEA 2017.2.2 ...
分类：
编程语言 时间：
2018-11-11 12:15:33
阅读次数：
292
HBase架构简介 HBase在完全分布式环境下，由Master进程负责管理RegionServers集群的负载均衡以及资源分配，ZooKeeper负责集群元数据的维护并且监控集群的状态以防止单点故障，每个RegionServer会负责具体数据块的读写，HBase所有的数据存储在HDSF系统上。 ? ...
分类：
其他好文 时间：
2018-11-08 16:16:45
阅读次数：
175
一、过程分析 1、准备3台客户机（关闭防火墙、修改静态ip、主机名称） 2、安装JDK 3、配置环境变量 4、安装Hadoop 5、配置集群 6、单点启动 7、配置ssh免密登录 8、群起并测试集群 二、编写集群分发脚本 xsync 1、scp（secure copy）安全拷贝 1）scp定义 sc ...
分类：
其他好文 时间：
2018-11-06 00:49:05
阅读次数：
213
准备环境 CentOS 7 jdk1.8 (这里建议使用1.8版本的jdk 链接:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html) hadoop-2.7.3.tar.gz （ 链 ...
分类：
其他好文 时间：
2018-11-05 20:09:38
阅读次数：
237
在2018年10月18-19日召开的第五届中国国际大数据大会上，金融级分布式数据库厂商巨杉数据库，荣获“2018年度金融大数据行业.创新产品奖”。 SequoiaDB巨杉数据库成立6年来一直坚持技术驱动产品，专注打造金融级分布式数据库，成为中国首次入选Gartner数据库报告的数据库厂商。目前，巨杉 ...
分类：
其他好文 时间：
2018-10-25 00:19:46
阅读次数：
355
一个虚拟机 1.以 NAT网卡模式 装载虚拟机 2.最好将几个用到的虚拟机修改主机名，静态IP /etc/network/interface，这里 是 s101 s102 s103 三台主机 ubantu，改/etc/hostname文件 3.安装ssh 在第一台主机那里s101 创建公私密匙 ss ...
分类：
其他好文 时间：
2018-10-21 10:55:13
阅读次数：
177
1、在虚拟机上安装Hadoop完全分布式准备工作 1）这里使用的是VMWare软件，在VMWare上安装一个CentOS6.5，并再克隆两个机器配置相关MAC地址，以及配置机器名 2）三台虚拟机配置好静态IP以及网络环境，以及SSH免密码登录(自行参考资料) 3）安装Java环境(自行参考资料) 4 ...
分类：
其他好文 时间：
2018-10-13 19:48:27
阅读次数：
287
