参考： https://blog.csdn.net/u012848709/article/details/83744699 自己照着搭建了下，顺便把坑也踩了下，项目见云盘： 链接：https://pan.baidu.com/s/1A_ZutmadXRIKJhPYxvg_bw 提取码：49l3 ...
分类：
其他好文 时间：
2019-11-30 09:49:27
阅读次数：
59
MIT6.824食用过程 Lab1 MapReduce 一、介绍 本实验使用Go语言构建一个mapreduce库，以及一个容错的分布式系统。第一部分完成一个简单的mapreduce程序，第二部分写一个提交到mapreduce workers 的master 并且要能够处理workers 的错误。 库 ...
分类：
其他好文 时间：
2019-11-27 19:07:21
阅读次数：
119
Spark(一): 基本架构及原理 Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下 ...
分类：
其他好文 时间：
2019-11-25 11:52:12
阅读次数：
62
2019-11-22 17:15:27,705 FATAL [IPC Server handler 13 on 44844] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Task: attempt_1574410493054_0011_m_00 ...
分类：
数据库 时间：
2019-11-23 17:52:36
阅读次数：
71
【实验目的】 1)了解hbase服务 2)学会hbase shell命令操作成绩表 【实验原理】 HBase是一个分布式的、面向列的开源数据库，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据。本试验中hbase提供了一个shell的终 ...
分类：
系统相关 时间：
2019-11-23 15:54:07
阅读次数：
276
Sqoop简介 Sqoop是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具 原理: 将导入或导出命令翻译成Mapreduce程序来实现。 在翻译出的Mapreduce中主要是对InputFormat和OutputFormat进行定制 RDBMS到HD ...
分类：
Web程序 时间：
2019-11-21 21:27:34
阅读次数：
113
hadoop及NameNode和SecondaryNameNode工作机制 1.hadoop组成 Common MapReduce Yarn HDFS （1）HDFS namenode：存放目录，最重要的（主机） datanode：存放数据。（从机） 2namenode：“助手” （2）YARN R ...
分类：
其他好文 时间：
2019-11-21 12:21:17
阅读次数：
83
为了方便MapReduce直接访问关系型数据库（Mysql,Oracle）， Hadoop提供了DBInputFormat和DBOutputFormat两个类。 通过DBInputFormat类把数据库表数据读入到HDFS，根据DBOutputFormat类把MapReduce产生的结果集导入到数据 ...
分类：
数据库 时间：
2019-11-20 21:53:46
阅读次数：
83
上篇博客已经说过，会将代码进行优化，并通过TreeMap进行排序实现，现在简单说明一下代码的思路。 项目以上传到github：https://github.com/yandashan/MapReduce_Count2.git 这次的代码是根据课程的id进行排序的，map的流程和普通的WordCoun ...
分类：
其他好文 时间：
2019-11-19 15:39:05
阅读次数：
79
上一篇说到Spark的yarn client运行模式，它与yarn cluster模式的主要区别就是前者Driver是运行在客户端，后者Driver是运行在yarn集群中。yarn client模式一般用在交互式场景中，比如spark shell, spark sql等程序，但是该模式下运行在客户端 ...
分类：
其他好文 时间：
2019-11-18 22:14:29
阅读次数：
101
