K-means算法是最为经典的基于划分的聚类方法，是十大经典数据挖掘算法之一。K-means算法的基本思想是：以空间中k个点为中心进行聚类，对最靠近他们的对象归类。通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。Mahout kmeans MapReduce实现的原理和上述的一致，值得注意的是，Mahout将数据存储在HDFS，用MapReduce做批量并行的计算。在做kmeans之前，需要将文本用Mahout向量化模块工具做向量化。计算过程主要分为三个步骤：初始中心选取，寻找簇中心，划分数...
分类：
其他好文 时间：
2014-05-26 06:00:31
阅读次数：
239
一、使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase
二、使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL
2.3 HBase中的数据导出到mysql
目前没有直接的命令将HBase中的数据导出到MySQL，但可以先将HBase中的数据导出到HDFS中，再将数据导出到MySQL。
三、使用Sqoop将Orac...
分类：
数据库 时间：
2014-05-26 05:48:46
阅读次数：
304
对于开源的东东，尤其是刚出来不久，我觉得最好的学习方式就是可以看源码和doc，测试它的例子
为了方便查看源码，关联导入源码的项目
block数据块，在配置文件hdfs-default.xml中可以查看到,记住要修改不是在这里
block文件存储块是最基本的单位
查看block存放位置，配置文件中查看
如果文件大于64M会占两个块，meta文件是校验...
分类：
其他好文 时间：
2014-05-26 05:30:58
阅读次数：
227
点击browserFilesystem，和命令查看结果一样
当我们查看hadoop源码时，我们看到hdfs下的hdfs-default.xml文件信息
我们查找${hadoop.tmp.dir}这是引用变量，肯定在其他文件有定义，在core-default.xml中查看到，这两个配置文件有个共同点：
就是不要修改此文件，但可以复制信息到core-site.xml和hdfs-sit...
分类：
Web程序 时间：
2014-05-25 02:02:13
阅读次数：
388
Hadoop的分布式文件系统（HDFS）是Hadoop的很重要的一部分，本文先简单介绍HDFS的几个特点，然后再分析背后的原理，即怎样实现这种特点的。
HDFS特点
1、高容错性。这是HDFS最核心的特性了，把大量数据部署在便宜的硬件上，即使其中某些磁盘出现故障，HDFS也能很快恢复丢失的数据。
2、简单一致性。这个的意思是HDFS适合一次写入，多次读取的程序，文件写入后，就不需要修改了。像...
分类：
其他好文 时间：
2014-05-25 01:02:09
阅读次数：
285
除介绍的命令外，还有许多bin/hadoop.dfs命令，以上介绍的只是帮助你开始使用HDFS，运行bin/hadoop dfs不带任何参数会列出所有FsShell系统提供的命令，当你遇到问题时执行bin/hadoop dfs –help commandName会显示这个命令的用法。
下面是所有命令的介绍，介绍之前先定义一下参数的意义：
1. 斜体：表示用户输入的变量。
...
分类：
其他好文 时间：
2014-05-24 19:47:01
阅读次数：
338
Hive是一种构建在Hadoop上的数据仓库，Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业，是MapReduce更高层次的抽象，不用编写具体的MapReduce方法。Hive将数据组织为表，这就使得HDFS上的数据有了结构，元数据即表的模式，都存储在名为meta....
分类：
其他好文 时间：
2014-05-23 05:54:55
阅读次数：
1771
通过MapReduce程序分析气象数据集，更好的了解计算过程。环境：Hadoop 1.2.1
& Centos 6.5
x641、气象数据集准备下载链接：ftp://ftp3.ncdc.noaa.gov/pub/data完整数据集非常大，可以下载部分数据集作为日常实验数据。2、气象数据上传到HDFS...
分类：
其他好文 时间：
2014-05-22 15:39:14
阅读次数：
361
问题： 在Hadoop中，新建一个目录，报错了，提示mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory，该如何解决呢？...
分类：
其他好文 时间：
2014-05-22 11:31:11
阅读次数：
304
基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析
课程讲师：迪伦
课程分类：Java
适合人群：高级
课时数量：96课时
用到技术：MapReduce、HDFS、Map-Reduce、Hive、Sqoop
涉及项目：Greenplum Hadoop大数据分析平台
更新程度：完毕
对这个课程有兴趣的朋友可以加我的QQ2059055336和...
分类：
其他好文 时间：
2014-05-21 13:23:22
阅读次数：
363
