hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据...
分类：
其他好文 时间：
2014-07-22 00:20:35
阅读次数：
252
类与类之间存在以下的关系：（1）泛化（2）关联（3）依赖（4）聚合关系 泛化： 表示类与类之间的继承关系，接口与接口之间的继承关系，或者就是接口与类的实现关系 父类 父类实例 = new 子类() 依赖： 对于两个相对独立的对象，当一个对象负责构造另一个对象的实例或者...
分类：
编程语言 时间：
2014-07-22 00:05:36
阅读次数：
172
虽然我们在虚拟机客户端上能很快通过shell命令，进行执行一些已经封装好实例程序，但是在应用中还是是自己写程序，然后部署到服务器中去，下面，我通过程序进行浅谈一个程序的部署过程。
在启动Hadoop之后，然后把程序达成可执行的jar包，并把相应的第三方jar包 包含进去。执行hadoop jar XXX. +驱动名称。package com.mapred;
import java.i...
分类：
其他好文 时间：
2014-07-21 22:33:08
阅读次数：
239
Exception in thread "main" java.lang.NoClassDefFoundError: org/codehaus/jackson/map/JsonMappingException
at org.apache.hadoop.mapreduce.Job$1.run(Job.java:563)
at java.security.AccessC...
分类：
移动开发 时间：
2014-07-21 16:36:54
阅读次数：
251
[职责分离原则] 职责分离原则是指在设计的时候应当考虑到数据的产生，聚合使用等原则，每个系统干自己能干的事情，每个系统只干自己的事情。一个数据表应该放在哪个系统中，通常取决于几点： 1. 谁产生这个信息：...
分类：
数据库 时间：
2014-07-21 10:33:05
阅读次数：
240
Page Rank就是MapReduce的来源，下文是一个简单的计算PageRank的示例。 import?java.text.DecimalFormat;
/**
?*?Created?by?jinsong.sun?on?2014/7/15.
?*/
public?class?PageRankCaculator?{
??...
分类：
编程语言 时间：
2014-07-21 10:22:18
阅读次数：
301
namenode（hdfs）+jobtracker（mapreduce）可以放在一台机器上，datanode+tasktracker可以在一台机器上，辅助namenode要单独放一台机器，jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上，一...
分类：
其他好文 时间：
2014-07-21 10:21:00
阅读次数：
327
1. 概述在传统数据库（如：MYSQL）中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见且耗时，由于Hadoop的独特设计思想，当进行JOIN操作时，有一些特殊的技巧。本文首先介绍了Hadoop上通常的JOIN实现方法，然后给出了几种针对不同输入数据集的优化方法。...
分类：
其他好文 时间：
2014-07-21 09:03:08
阅读次数：
329
定义
提供一个方法顺序访问一个聚合对象中个各个元素，而又不需要暴露该对象的内部结构。
案例
一个聚合对象，如一个列表List，应该提供一种方法来让别人可以访问它的元素，而又不用暴露内部结构。迭代器模式可以很好的解决这类问题，关键思想就是将队列表的访问和遍历从列表对象中分离出来，放到一个迭代器Iterator对象中，Itrator定义了一个访问List对象的接口。...
分类：
其他好文 时间：
2014-07-20 23:10:38
阅读次数：
353
原文：http://blog.csdn.net/lgm277531070/article/details/6922645 A.pom.xml属性介绍： project: pom的xml根元素。 parent: 声明继承。 modules: 声明聚合，该值是一个当前POM的相对目录。用户项目的聚合。 ...
分类：
其他好文 时间：
2014-07-19 18:21:07
阅读次数：
163
