课程大纲及内容简介: 每节课约35分钟，共不下40讲 第一章（11讲） ·分布式和传统单机模式 ·Hadoop背景和工作原理 ·Mapreduce工作原理剖析 ·第二代MR--YARN原理剖析 ·Cloudera Manager 4.1.2安装 ·Cloudera Hadoop 4.1.2 安装 · ...
分类：
其他好文 时间：
2016-04-12 07:06:02
阅读次数：
130
最开始讲MapReduce的时候，我们是指定输出目录，然后把结果直接输出到hdfs上。然后，在介绍hive的简单使用时，我们直接将结果输出到了hive表中。另外，MR还可以将结果输出到数据库以及hbase。
今天，笔者就给大家介绍MR将结果输出到db。
首先，笔者要提及一下之前MR将结果输出到hive表，这里需要注意，只能向某张表中入一次数据，再次执行MR报错：
org.apache.hive...
分类：
数据库 时间：
2016-04-11 12:30:39
阅读次数：
254
这个写的很不错 http://www.cnblogs.com/Mr-xu/archive/2012/08/07/2626973.html 什么叫引用？ 引用就是对某对象的另一个名字。 主要用途： 为了描述函数的参数和返回值，特别是运算符的重载。 用法： X var; X& r = var; 那么r是 ...
分类：
编程语言 时间：
2016-04-11 12:01:44
阅读次数：
141
一、背景 天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可 用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MR ...
分类：
其他好文 时间：
2016-04-10 01:16:46
阅读次数：
257
Hadoop 1.0内核主要由两个分支组成：MapReduce和HDFS，众所周知，这两个系统的设计缺陷是单点故障，即MR的JobTracker和HDFS的NameNode两个核心服务均存在单点问题，该问题在很长时间内没有解决，这使得Hadoop在相当长时间内仅适合离线存储和离线计算。 令人欣慰的是 ...
分类：
其他好文 时间：
2016-04-10 01:12:48
阅读次数：
189
本次模拟系统，是利用Hadoop等组件来模拟巨型日志的处理系统，包括Python定时、Flume收集日志、MR处理日志、Sqoop导出数据、Hive的简单统计等...
分类：
其他好文 时间：
2016-04-09 17:03:16
阅读次数：
267
1.Pig是基于hadoop的一个数据处理的框架。 MapReduce是使用java进行开发的，Pig有一套自己的数据处理语言，Pig的数据处理过程要转化为MR来运行。2.Pig的数据处理语言是数据流方式的，类似于初中做的数学题。一步一步来的，跟SQL不一样，SQL一步就得到答案，3.Pig基本数据 ...
分类：
其他好文 时间：
2016-04-08 00:53:18
阅读次数：
177
Test for Job Time Limit: 5000MS Memory Limit: 65536K Total Submissions: 8990 Accepted: 2004 Description Mr.Dog was fired by his company. In order to s ...
分类：
其他好文 时间：
2016-04-05 19:41:33
阅读次数：
199
二 倒排索引 倒排索引（英语：Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。有两种不同的反向索引形式：一条记录的水平反向索引（或者反向档案索引）包含每... ...
分类：
其他好文 时间：
2016-04-05 19:37:42
阅读次数：
179
（网易云课程hadoop大数据实战学习笔记） 自定义排序，是基于k2的排序，设现有以下一组数据，分别表示矩形的长和宽，先按照面积的升序进行排序。 99 66 78 11 54 现在需要重新定义数据类型，MR的key值必须继承WritableComparable接口，因此定义RectangleWrit ...
分类：
编程语言 时间：
2016-04-04 18:03:57
阅读次数：
213
