环境准备： JDK：Hadoop 2.7 及以后版本，需要安装 Java 7，可以是 OpenJDK 或者是 Oracle（HotSpot）的 JDK/JRE。 Hadoop：http://hadoop.apache.org/releases.html 配置： 编辑/etc/profile，添加JA ...
分类：
其他好文 时间：
2018-03-24 00:41:12
阅读次数：
164
1.Hadoop是一个开源的大数据框架 2.Hadoop是一个分布式计算的解决方案 3.Hadoop = HDFS(分布式文件系统) + MapReduce(分布式计算) Hadoop两大核心 HDFS分布式文件系统：存储是大数据技术的基础 MapReduce编程模型：分布式计算是大数据应用的解决方 ...
分类：
其他好文 时间：
2018-01-09 11:43:48
阅读次数：
133
大数据：Hadoop入门 一：什么是大数据 （1.）大数据是指在一定时间内无法用常规软件对其内容进行抓取，管理和处理的数据集合，简而言之就是数据量非常大，大到无法用常规工具进行处理，如关系型数据库，数据仓库等。这里“大”是一个什么量级呢？如在阿里巴巴每天处理数据达到20PB（即20971520GB） ...
分类：
其他好文 时间：
2017-12-23 23:03:07
阅读次数：
228
大数据：Hadoop入门 一：什么是大数据 （1.）大数据是指在一定时间内无法用常规软件对其内容进行抓取，管理和处理的数据集合，简而言之就是数据量非常大，大到无法用常规工具进行处理，如关系型数据库，数据仓库等。这里“大”是一个什么量级呢？如在阿里巴巴每天处理数据达到20PB（即20971520GB） ...
分类：
其他好文 时间：
2017-12-23 19:01:09
阅读次数：
269
Hadoop入门之WordCount运行详解，庖丁解牛，思路清晰！ ...
分类：
其他好文 时间：
2017-10-04 15:53:57
阅读次数：
114
目录： 一.hadoop入门须知 一.hadoop入门须知 名词解释： 2. 必需软件JDK1.6以上SSH无密码访问(hadoop的使用，必须配置成ssh无密码访问)： 解决方法： root用户下： ssh localhost后，然后可以无密码登录了。 （使用cp id_dsa.pub autho ...
分类：
其他好文 时间：
2017-09-26 12:59:14
阅读次数：
127
一、实验目的 了解Hadoop的MapeReduce工作原理 二、实验内容 实现基于单机的伪分布式运行模拟 三、实验需要准备的软件和源 1、Jdk1.6以上 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html ...
分类：
其他好文 时间：
2017-09-08 21:45:15
阅读次数：
265
1. hue整体架构 2.解压hue 3.安装依赖 yum install gmp-devel 4. 编译 make apps 5.修改hue的配置文件 desktop/conf/hue.ini 6。启动hue 7。Hue与hadoop集成 在hadoop的core-site.xml里增加配置 <p ...
分类：
其他好文 时间：
2017-08-22 18:47:00
阅读次数：
152
一、hadoop的概念 （1）什么是大数据 大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及的业务和技术的许多领域。 （2）hadoop的定义 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop的框架最核心的设计就是：HDFS和M ...
分类：
其他好文 时间：
2017-08-18 11:16:57
阅读次数：
191
. MapReduce基本编程模型和框架 1.1 MapReduce抽象模型 大数据计算的核心思想是：分而治之。如下图1所示。把大量的数据划分开来，分配给各个子任务来完成。再将结果合并到一起输出。 注：如果数据的耦合性很高，不能分离，那么这种并行计算就不适合了。 图1：MapReduce抽象模型 1 ...
分类：
其他好文 时间：
2017-08-05 19:01:47
阅读次数：
132
