大数据分析平台的搭建有利于帮助企业构建统一的数据存储和数据处理资源，围绕企业业务开展大数据应用建设，最终形成面向服务化的数据资产。而今天我们就来了解一下，常见的大数据平台都包含哪些层次？ 1、数据采集层：分3个层面的采集技术进行支持，一是传统业务系统数据库和半结构化、结构化数据的采集和集成，如采用Sqoop技术进行关系数据库和Hadoop系统之间的数据抽取和交换;二是交通实时流数据的采集，包
分类：
其他好文 时间：
2020-09-17 20:18:31
阅读次数：
34
下面列出我搭建hadoop应用环境的文章整理在一起，不定期更新，供大家参考，互相学习！！！ 第一篇 HADOOP部分 1.1 hadoop3.2.0的安装并测试 1.2 编译Hadoop连接eclipse的插件遇见的一系列错误，崩溃的操作 1.3 在eclipse上运行WordCount的操作过程 ...
分类：
其他好文 时间：
2019-10-02 12:49:57
阅读次数：
114
安装关系型数据库MySQL 安装大数据处理框架Hadoop 简述Hadoop平台的起源、发展历史与应用现状。 列举发展过程中重要的事件、主要版本、主要厂商； 国内外Hadoop应用的典型案例。 （1）Hadoop的介绍： Hadoop最早起源于Nutch，Nutch的设计目标是构建一个大型的全网搜索 ...
分类：
数据库 时间：
2019-05-11 23:35:02
阅读次数：
283
之前写过关于Hadoop方面的MapReduce框架的文章MapReduce框架Hadoop应用(一) 介绍了MapReduce的模型和Hadoop下的MapReduce框架，此文章将进一步介绍mapreduce计算模型能用于解决什么问题及有什么巧妙优化。 MapReduce到底解决什么问题？ Ma ...
分类：
其他好文 时间：
2018-12-09 17:28:16
阅读次数：
234
Hadoop家族 整个Hadoop家族由以下几个子项目组成： Hadoop Common： Hadoop体系最底层的一个模块，为Hadoop各子项目提供各 种工具，如：配置文件和日志操作等。 HDFS： 是Hadoop应用程序中主要的分布式储存系统， HDFS集群包含了一个NameNode（主节点） ...
分类：
其他好文 时间：
2018-04-17 18:06:18
阅读次数：
207
本文主要参考《Hadoop应用开发技术详解（作者：刘刚）》 一、工作环境 Windows7： Eclipse + JDK1.8.0 Ubuntu14.04：Hadoop2.9.0 二、准备工作——导入JAR包 1. 建一个Hadoop专用的工作空间 2. 在工作空间的目录下建一个专门用来存放开发Ma ...
<<Pentaho Kettle解决方案：使用PDI构建开源ETL解决方案>>, Matt Casters等著，初建军翻译<<Hadoop应用架构>> Mark Grover编著, OREILLY出版<<Hadoop权威指南>> Tom White编著, OREILLY出版<<数据仓库工具箱 --维 ...
分类：
其他好文 时间：
2018-03-05 18:47:01
阅读次数：
130
Hive 作为基于Hadoop的一个数据仓库工具，可将sql语句转换为MapReduce任务进行运行。 通过类SQL语句快速实现简单的MapReduce统计，不用开发专门的MapReduce应用 适合数据仓库的统计分析。基本上Hadoop应用时，都有Hive的影子，下面说下基本Hadoop如何安装配 ...
分类：
其他好文 时间：
2017-12-26 14:39:36
阅读次数：
192
课程目录：weekend110-第1天 01-hadoop职位需求状况 02-hadoop课程安排 03-hadoop应用场景 04-hadoop对海量数据处理的解决思路 05-hadoop版本选择和伪分布式安装 06-hadoop版本选择和伪分布式安装2 07-hdfs&mapreduce测试 0 ...
分类：
其他好文 时间：
2017-08-13 16:18:07
阅读次数：
143
Google对其的定义：MapReduce是一种变成模型，用于大规模数据集(以T为级别的数据)的并行运算。用户定义一个map函数来处理一批Key-Value对以生成另一批中间的Key-Value对，再定义一个reduce函数将所有这些中间的有相同Key的value合并起来。“Map”(映射)和“Re ...
分类：
其他好文 时间：
2017-08-06 15:07:59
阅读次数：
165
