转自：使用Python实现Hadoop MapReduce程序英文原文：Writing an Hadoop MapReduce Program in Python根据上面两篇文章，下面是我在自己的ubuntu上的运行过程。文字基本采用博文使用Python实现Hadoop MapReduce程序， 打...
分类：
编程语言 时间：
2014-06-19 06:01:59
阅读次数：
366
目的这份文档描写叙述了怎样安装、配置和管理从几个节点到有数千个节点的Hadoop集群。玩的话，你可能想先在单机上安装。(看单节点配置)。准备从Apache镜像上下载一个Hadoop的稳定版本号。安装安装一个Hadoop集群，一般包含分发软件到全部集群中的机器上或者是安装RPMs。一般地，集群中的一台...
分类：
其他好文 时间：
2014-06-19 00:19:50
阅读次数：
372
使用 Apache Pig 从大数据集中获得所需的信息Apache Pig 是一个高级过程语言，适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询，Pig 可以简化 Hadoop 的使用。本文将探索 Pig 背后的语言，并在...
分类：
其他好文 时间：
2014-06-18 23:59:12
阅读次数：
305
Mapreduce 模式中的 Pig对于 MapReduce 模式，必须首先确保 Hadoop 正在运行。要做到这一点，最简单的方法是在 Hadoop 文件系统树的根上执行文件列表操作，如 清单 3 所示。清单 3. 测试 Hadoop 可用性$ hadoop dfs -ls /Found 3 it...
分类：
其他好文 时间：
2014-06-18 22:46:01
阅读次数：
490
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如下.....
分类：
其他好文 时间：
2014-06-16 13:22:07
阅读次数：
309
SQL行转列汇总 PIVOT用于将列值旋转为列名（即行转列），在SQL Server 2000可以用聚合函数配合CASE语句实现PIVOT的一般语法是：PIVOT(聚合函数(列) FOR 列 in (…) )AS P完整语法：table_sourcePIVOT(聚合函数（value_column）F...
分类：
数据库 时间：
2014-06-15 15:38:33
阅读次数：
440
================= Incremental mapReduce =================...
分类：
数据库 时间：
2014-06-15 10:27:58
阅读次数：
209
进来学习java的时候遇到了一些经验说多用对象模式，少用继承模式。现在写一点感想。
面向对象的对象之间的哦和方式有继承，实现，关联，依赖，聚合和组合。其中的继承和实现是继承这类模式。
说道的一个原因就是代码污染。例如一个父类非常复杂。而一个继承了这个类的子类可能重写了一部分的方法。但是继承了全部的方法。用户在使用继承的子类的时候可能会调用没有重写的父类的方法并且如果这种方法是在子类的设计者的意...
分类：
其他好文 时间：
2014-06-15 10:26:52
阅读次数：
178
上篇文章讨论了hql查询中的连接查询，它的查询语法在功能上和sql的连接查询是相同的，内连接查询取得的是关系之间的笛卡尔积，外连接查询是获取一个关系表及与另一个关系表的合集部分，具体的使用方法见上篇文章，并在最后讨论了外置命名查询的方法。该篇文章将会对hql的参数查询、函数查询及查询过滤器做详细的讨论。...
分类：
系统相关 时间：
2014-06-15 08:21:41
阅读次数：
338
模式定义
迭代器模式提供一种方法顺序访问一个聚合对象中的各个元素，而又不暴露其内部的表示。
迭代器模式让我们能游走于聚合内的每一个元素，而又不暴露其内部的表示。把游走的任务放在迭代器上，而不是聚合上。这样简化了聚合的接口和实现，也让责任各得其所。
模式结构：
Iterator：迭代器定义访问和遍历元素的接口
Conc...
分类：
编程语言 时间：
2014-06-13 21:48:10
阅读次数：
473
