分布式数据集创建之textFile
文本文件的RDDs能够通过SparkContext的textFile方法创建，该方法接受文件的URI地址（或者机器上的文件本地路径，或者一个hdfs://,
sdn://,kfs://,其他URI).这里是一个调用样例：scala> val distFile...
分类：
其他好文 时间：
2014-05-29 18:58:27
阅读次数：
429
http://dongxicheng.org/mapreduce/hadoop-join-two-tables/http://dongxicheng.org/mapreduce/run-hadoop-job-problems/http://dongxicheng.org/mapreduce/hdfs...
分类：
其他好文 时间：
2014-05-29 12:27:09
阅读次数：
260
HDFS的设计目标检测以及快速恢复硬件问题.流式的数据访问.移动计算比移动数据的代价小.简化一致性模型.超大规模数据集异构软硬件平台之间的可移植性.HDFS的结构模型HDFS是一个主从的结构模型.一个HDFS集群是由一个NameNode和若干个DataNode组成.NameNode主节点是主服务器....
分类：
其他好文 时间：
2014-05-27 17:39:15
阅读次数：
328
K-means算法是最为经典的基于划分的聚类方法，是十大经典数据挖掘算法之一。K-means算法的基本思想是：以空间中k个点为中心进行聚类，对最靠近他们的对象归类。通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。Mahout kmeans MapReduce实现的原理和上述的一致，值得注意的是，Mahout将数据存储在HDFS，用MapReduce做批量并行的计算。在做kmeans之前，需要将文本用Mahout向量化模块工具做向量化。计算过程主要分为三个步骤：初始中心选取，寻找簇中心，划分数...
分类：
其他好文 时间：
2014-05-26 06:00:31
阅读次数：
239
一、使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase
二、使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL
2.3 HBase中的数据导出到mysql
目前没有直接的命令将HBase中的数据导出到MySQL，但可以先将HBase中的数据导出到HDFS中，再将数据导出到MySQL。
三、使用Sqoop将Orac...
分类：
数据库 时间：
2014-05-26 05:48:46
阅读次数：
304
package com.kane.hdfs;
import java.io.InputStream;
import java.net.URL;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
public class Test {...
在成功安装Pig的基础上，本文将使用Pig对手机上网日志进行分析，具体步骤如下：
写在前面：
手机上网日志文件phone_log.txt，文件内容 及 字段说明部分截图如下
需求分析
显示每个手机号的上网流量情况。
依次完成以下步骤：
1、将Linux本地文件phone_log.txt上传到HDFS
执行命令dump C; 查看经过以上步骤处理后的...
分类：
移动开发 时间：
2014-05-25 13:00:50
阅读次数：
318
点击browserFilesystem，和命令查看结果一样
当我们查看hadoop源码时，我们看到hdfs下的hdfs-default.xml文件信息
我们查找${hadoop.tmp.dir}这是引用变量，肯定在其他文件有定义，在core-default.xml中查看到，这两个配置文件有个共同点：
就是不要修改此文件，但可以复制信息到core-site.xml和hdfs-sit...
分类：
Web程序 时间：
2014-05-25 02:02:13
阅读次数：
388
Hadoop的分布式文件系统（HDFS）是Hadoop的很重要的一部分，本文先简单介绍HDFS的几个特点，然后再分析背后的原理，即怎样实现这种特点的。
HDFS特点
1、高容错性。这是HDFS最核心的特性了，把大量数据部署在便宜的硬件上，即使其中某些磁盘出现故障，HDFS也能很快恢复丢失的数据。
2、简单一致性。这个的意思是HDFS适合一次写入，多次读取的程序，文件写入后，就不需要修改了。像...
分类：
其他好文 时间：
2014-05-25 01:02:09
阅读次数：
285
除介绍的命令外，还有许多bin/hadoop.dfs命令，以上介绍的只是帮助你开始使用HDFS，运行bin/hadoop dfs不带任何参数会列出所有FsShell系统提供的命令，当你遇到问题时执行bin/hadoop dfs –help commandName会显示这个命令的用法。
下面是所有命令的介绍，介绍之前先定义一下参数的意义：
1. 斜体：表示用户输入的变量。
...
分类：
其他好文 时间：
2014-05-24 19:47:01
阅读次数：
338
