大数据解决四大核心问题： 数据的存储（Big Data Storage），海量数据需要处理和分析，但前提是要进行有效的存储。Hadoop的诞生突破了传统数据文件系统的单机模式。HDFS使得数据可以跨越不同的机器与设备，并且用一个路径去管理不同平台上的数据。 数据的计算（Data Calculatio ...
分类：
其他好文 时间：
2018-04-01 21:53:56
阅读次数：
140
1. 软硬件环境 CentOS 7.2 64 位 OpenJDK- 1.8 Hadoop- 2.7 2. 安装SSH客户端 安装SSH 安装SSH： 安装完成后，可以使用下面命令进行测试： 输入 root 账户的密码，如果可以正常登录，则说明SSH安装没有问题。 3.安装java环境 安装 JDK ...
分类：
其他好文 时间：
2018-03-31 00:38:34
阅读次数：
368
Java操作HDFS开发环境搭建在之前我们已经介绍了如何在Linux上进行HDFS伪分布式环境的搭建，也介绍了hdfs中一些常用的命令。但是要如何在代码层面进行操作呢？这是本节将要介绍的内容：1.首先使用IDEA创建一个maven工程：maven默认是不支持cdh的仓库的，需要在pom.xml中配置cdh的仓库，如下：<repositories><repository>&l
分类：
编程语言 时间：
2018-03-25 18:08:19
阅读次数：
507
HDFS概述及设计目标什么是HDFS：是Hadoop实现的一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS源自于Google的GFS论文论文发表于2003年，HDFS是GFS的克隆版HDFS的设计目标：非常巨大的分布式文件系统运行在普通廉价的硬件上易扩展、为用户×××能不错的文件存储服务，也就是容错性HDFS官方文档地址如下：https://hadoop.
分类：
其他好文 时间：
2018-03-24 21:26:24
阅读次数：
159
全小白式0起步详细教程。从安装虚拟机、下载配置JDK、安装配置Hadoop、使用SSH免密登录远程终端、成功运行全流程。 ...
分类：
其他好文 时间：
2018-03-21 19:50:51
阅读次数：
463
Mongodb和Memcached不是一个范畴内的东西。Mongodb是文档型的非关系型数据库，其优势在于查询功能比较强大，能存储海量数据。Mongodb 和 Memcached不存在谁替换谁的问题。 Memcached 和 Redis它们都是内存型数据库，数据保存在内存中，通过tcp直接存取，优势 ...
分类：
数据库 时间：
2018-03-15 22:08:17
阅读次数：
170
本文主要介绍了如何在linux上搭建单机/伪分布式hadoop集群，有着详细的操作步骤，读者可以很容易上手，完成Hadoop集群的搭建和体验！ ...
分类：
系统相关 时间：
2018-03-06 14:43:36
阅读次数：
262
之前的两篇文章介绍了如何从0开始到搭建好带有JDK的Ubuntu的过程，本来这篇文章是打算介绍搭建伪分布式集群的。但是后来想想反正伪分布式和完全分布式差不多，所幸直接介绍完全分布式了。 如果你想自己搭建伪分布式玩的话，参考：在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境 - ...
分类：
系统相关 时间：
2018-03-06 10:20:02
阅读次数：
279
