搭建大数据hadoop完全分布式环境，遇到很多问题，这里记录一部分，以备以后查看。 1、在安装配置完hadoop以后，需要格式化namenode,输入指令：hadoop namenode -format，报错误信息：hadoop： command not found 本文网址：https://www ...
分类：
其他好文 时间：
2019-01-24 11:01:41
阅读次数：
161
在Windows里，使用虚拟机软件Vmware WorkStation搭建三台机器，操作系统Ubuntu16.04,下面是IP和机器名称。 【实验目标】：在这三台机器之间实现免密登录 【搭建准备】 1、三台机器上已建立一个共同的账号：hadoop，口令一致 【设置步骤】 1、在主节点master上设 ...
分类：
系统相关 时间：
2019-01-24 01:18:10
阅读次数：
276
【目的】：学习大数据 在此记录搭建大数据的过程。 【系统环境】 宿主机操作系统：Win7 64位 虚拟机软件：Vmware workstation 12 虚拟机：Ubuntu 16 64位桌面版 【搭建过程】 一、准备 1、安装文件准备 Hadoop软件： JDK： Ubuntu 16的安装软件 2 ...
分类：
系统相关 时间：
2019-01-17 15:12:57
阅读次数：
220
CentOS配置SSH免密码登录后,仍提示输入密码 [接-(准备完全分布式主机的 ssh)] CentOS配置SSH无密码登录需要3步： 生成公钥和私钥 导入公钥到认证文件,更改权限 测试 1.生成公钥和私钥 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 默认在 ...
分类：
其他好文 时间：
2018-12-19 21:10:31
阅读次数：
156
1，hdfs的概述 HDFS的文件块：（面试也是常聊的） 块级大小可通过配置参数（dfs.dlocksize）来规定的，如果在完全分布式情况下，默认hadoop2.x版本大是128M，在本本地模式下是64M的。老版本是64M。 传输一个由多个块组成的文件的时间取决于磁盘传输速率。 如果寻址时间约为1 ...
分类：
其他好文 时间：
2018-12-09 17:22:56
阅读次数：
112
日前，云宏与英特尔携手，发布了基于英特尔?至强?可扩展平台全面升级的超融合一体机解决方案。云宏超融合一体机搭载了云宏自主研发的超融合核心技术，采用异构设计，可全面兼容主流虚拟化系统，实现了虚拟化和分布式存储深度整合、IO路径最短化，有效提升了存储随机读性能。整个系统采用全分布式无共享架构，无状态的处理架构保证系统能实现横向线性扩展、无单点故障和性能瓶颈。云宏超融合架构是云计算基础设施进化的重要方向
分类：
其他好文 时间：
2018-11-21 22:24:03
阅读次数：
263
本文描述了如何安装、配置和管理有实际意义的Hadoop集群，安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。通常，集群里一台机器被指定为 NameNode，另一台不同的机器被指定为DataNode。 ...
分类：
其他好文 时间：
2018-11-14 14:14:01
阅读次数：
238
内容 由于前两节的内容我们知道，开启了preferIpAddress后，Eureka的伪分布式部署会提示replica不可用。这一节我们讲解如何在生产环境下部署完全分布式的Eureka集群，确保开启了preferIpAddress后replica的可用性。 版本 IDE：IDEA 2017.2.2 ...
分类：
编程语言 时间：
2018-11-11 12:15:33
阅读次数：
292
HBase架构简介 HBase在完全分布式环境下，由Master进程负责管理RegionServers集群的负载均衡以及资源分配，ZooKeeper负责集群元数据的维护并且监控集群的状态以防止单点故障，每个RegionServer会负责具体数据块的读写，HBase所有的数据存储在HDSF系统上。 ? ...
分类：
其他好文 时间：
2018-11-08 16:16:45
阅读次数：
175
