1. MapReduce 定义 Hadoop 中的 MapReduce是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错式并行处理TB级别的数据集 2. MapReduce 特点 MapReduce 为什么如此受欢迎？尤其现在互联网+时代，互 ...
分类：
其他好文 时间：
2017-08-05 18:50:59
阅读次数：
136
首先启动： 第一个启动初始化 先hdfs格式化 bin 目录下的 hadoop指令使用(上篇的最后已经添加到 环境变量中去了,修改完 一定接的source一下！！！！) 格式化 hadoop namenode -format ...
分类：
其他好文 时间：
2017-08-01 17:08:41
阅读次数：
141
1.下载安装包及解压 tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 2.配置环境变量和配置文件 cd 到 sqoop解压目录 cp conf/sqoop-env-template.sh /conf/sqoop-env.sh 在sqoop-e ...
分类：
其他好文 时间：
2017-07-13 14:22:28
阅读次数：
177
一、Hadoop1.0的模型： |split0->map-[sort]->[1,3..] |/merge |==>reducer-->part0 =>HDFSreplicationsplit1->map-[sort]->[2,6..] |————————————— |==>reducre--->part1 =>HDFSreplicationsplit2->map-[sort]->[..
分类：
其他好文 时间：
2017-07-03 15:10:28
阅读次数：
219
MapReduce&HDFS简介一、Hadoop简介: 结构化数据：表,关系型数据库//有严格的约束 半结构化数据：html,json,yaml,有元数据//有约束，缺少严格的约束 非结构化数据：没有预定义的模型,元数据//日志数据等 搜索引擎：搜索组件、索引组件 网络爬虫：爬到的内容多为半结构化或..
分类：
其他好文 时间：
2017-07-03 15:07:36
阅读次数：
173
很多朋友不知道怎么入手学习大数据，今天科多大数据带你进入大数据的世界。 一、Hadoop入门，了解什么是hadoop 1、Hadoop产生背景 2、Hadoop在大数据、云计算中的位置和关系 3、国内外Hadoop应用案例介绍 4、国内Hadoop的就业情况分析及课程大纲介绍 5、分布式系统概述 6 ...
分类：
其他好文 时间：
2017-06-23 15:30:17
阅读次数：
216
二、Hadoop文件夹结构这里重点介绍几个文件夹bin、conf及lib文件夹。1、$HADOOP_HOME/bin文件夹文件名说明hadoop用于运行hadoop脚本命令，被hadoop-daemon.sh调用运行，也能够单独运行，一切命令的核心hadoop-config.shHadoop的配置文 ...
分类：
其他好文 时间：
2017-06-21 09:41:04
阅读次数：
154
Hadoop安装 现在最新版为2.7.2，使用下面的链接下载： https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 下载后使用下面的命令解压： tar zxf hadoop-2.7.2.tar. ...
分类：
其他好文 时间：
2017-04-28 21:23:29
阅读次数：
150
Hadoop1、是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。2、Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错 ...
分类：
其他好文 时间：
2017-04-26 19:18:24
阅读次数：
161
摘要: 在Hadoop生态圈中，针对大数据进行批量计算时，通常需要一个或者多个MapReduce作业来完成，但这种批量计算方式是满足不了对实时性要求高的场景。那Storm是怎么做到的呢？ 博主福利 给大家赠送一套hadoop视频课程 授课老师是百度 hadoop 核心架构师 内容包括hadoop入门 ...
分类：
其他好文 时间：
2017-04-25 15:08:59
阅读次数：
179
