【转自：】http://blog.csdn.net/hitwengqi/article/details/8008203最近一直在自学Hadoop，今天花点时间搭建一个开发环境，并整理成文。首先要了解一下Hadoop的运行模式：单机模式（standalone）
单机模式是Hadoop的默认模式。当.....
分类：
其他好文 时间：
2014-05-29 01:45:43
阅读次数：
374
【转自】：http://www.superwu.cn/2014/01/10/963/1.1.1.
hadoop的核心思想Hadoop包括两大核心，分布式存储系统和分布式计算系统。1.1.1.1.
分布式存储为什么数据需要存储在分布式的系统中哪，难道单一的计算机存储不了吗，难道现在的几个TB的硬盘装不...
分类：
其他好文 时间：
2014-05-29 01:24:12
阅读次数：
284
Pig可以看做是Hadoop的客户端软件，使用Pig
Latin语言可以实现排序、过滤、求和、分组等操作。Pig的安装步骤：一、去Pig的官方网站下载。http://pig.apache.org/releases.html#14+April%2C+2014%3A+release+0.12.1+ava...
分类：
其他好文 时间：
2014-05-28 19:08:51
阅读次数：
358
在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法，并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型，包括Mappers,
Reduces, Combiners, Partitioners,和 sorting。如下图所示。...
分类：
其他好文 时间：
2014-05-28 16:54:17
阅读次数：
342
背景穿戴式设备承载了物联网、大数据、健康、智能等各路当下或曾经的热门词汇，其风言风语已经飘荡了两年了。当前市面上比较流行的有国外的
jawbone up 手环、NIKE 的 fuelband 和 fitbit force 手环等，国内也不乏类似产品，比如 bong、咕咚等。3
月被网络各种消息吹得心...
分类：
其他好文 时间：
2014-05-28 01:44:01
阅读次数：
207
Eclipse开发过程连接Hadoop集群环境，需要安装Hadoop插件。Hadoop源码包中有Eclipse插件源代码，需要自己动手编译。环境：Hadoop
1.2.1 & EclipseKepler & Windows 7 & JAVA
71、生成插件源码解压Hadoop安装包，找到src\co...
分类：
系统相关 时间：
2014-05-28 00:39:47
阅读次数：
542
Google File System中文版Google Bigtable中文版Google
MapReduce中文版
分类：
其他好文 时间：
2014-05-26 19:48:38
阅读次数：
184
hadoop 中
的Text类与java中的String类感觉上用法是相似的，但两者在编码格式和访问方式上还是有些差别的，要说明这个问题，首先得了解几个概念；字符集：
是一个系统支持的所有抽象字符的集合。字符是各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字等。例如 unicode就是...
分类：
编程语言 时间：
2014-05-26 16:46:37
阅读次数：
398
K-means是一种聚类算法，其要求用户设定聚类个数k作为输入参数，因此，在运行此算法前，需要估计需要的簇的个数。
假设有n个点，需要聚到k个簇中。K-means算法首先从包含k个中心点的初始集合开始，即随机初始化簇的中心。随后，算法进行多次迭代处理并调整中心位置，知道达到最大迭代次数或中性收敛于固定点。
k-means聚类实例。选择三个随机点用作聚类中心(左上)，map阶段(右上)将...
分类：
其他好文 时间：
2014-05-25 21:11:25
阅读次数：
275
在plsql开发中，会涉及到一些大数据量表的数据处理，如将某记录数超亿的表的记录经过处理转换插入到另外一张或几张表。常规的操作方法固然可以实现，但时间、磁盘IO、redo日志等等都非常大。Oracle
提供了一种高级函数，可以将这种数据处理的性能提升到极限。这种函数称为管道函数。在实际项目中，管道函...
分类：
数据库 时间：
2014-05-25 15:05:26
阅读次数：
413
