环境:
Unbunt 12.04
Hadoop 2.2.x
Sprak 0.9
Scala scala-2.9.0.final.tgz
步骤
1. 下载 scala
2. 解压scala,然后修改/etc/profile,添加如下
export SCALA_HOME=/home/software/scala-2.9.0.final
export PATH=$P...
分类:
其他好文 时间:
2014-06-05 11:52:46
阅读次数:
484
package wordcount;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Int...
分类:
其他好文 时间:
2014-06-05 09:12:55
阅读次数:
203
本文来自于NoSQLFan联合作者@koven2049,他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解,本文就是其在工作中对HBase的应用优化小结,分享给大家。
目 录 [ - ]
前言原因应用情况部署、运维和监控测试与发布改进和优化将来计划
前言
hbase是从 hadoop中分离出来的apache顶级开源项目。由...
分类:
其他好文 时间:
2014-06-05 08:43:04
阅读次数:
275
在数据挖掘中,K-Means是一种用来计算数据聚集的算法。具体来说,K-Means要解决的问题如下图所示
凭肉眼可以看出,大致可以分为4个点群。但是怎么通过计算机找出这几个点群呢?这就是K-Means要解决的问题。
普通的K-Means算法的步骤如下
(1)随机在图中取K个种子点
(2)对图中的每个点求到这K个点的距离,假设点距离种子点最近,那么属于点群...
分类:
其他好文 时间:
2014-06-05 07:39:11
阅读次数:
733
scp 命令随记
scp file username@remoteIp:directory
创建tar包
tar zcvf file.tar.gz directory
tar zcvf hadoop.tar.gz /hadoop...
分类:
其他好文 时间:
2014-06-05 07:36:35
阅读次数:
199
适配器是Android中的数据与View视图的桥梁,作用就是将数据通过适配器显示到对应的View视图上。工作中,在用ListView做适配器数据时候,有些人肯定碰见过,如何优化效率,但是又出现重复数据的情况,如何避免重复数据而且又能提高ListView大数据量时候的效率呢?,解决方案就是2点:1.
...
分类:
移动开发 时间:
2014-06-03 07:19:16
阅读次数:
300
引子:
在大数据时代,总希望存在一个Key-value存储机制,像HashMap一样在内存中处理大量(千万数量级)的key-value对,以便提高数据查找、修改速度。
所以,我们会想到,Memcached和Redis这两个NoSQL数据库(严格来讲二者都不可以算作数据库)。 1、Memcach...
分类:
其他好文 时间:
2014-05-31 15:35:29
阅读次数:
293
Hbase的安装须要考虑Hadoop的版本号,即兼容性。有不足的希望能指出。下面考究官网得到的,关于hadoop版本号和hbase版本号可到下面网址中下载:http://mirror.bit.edu.cn/apache/hbaseHBase-0.92.xHBase-0.94.xHBase-0.96....
分类:
其他好文 时间:
2014-05-31 15:24:19
阅读次数:
377
随着大数据的到来,越来越多的数据需求需要开发,而这些需求不可避免需要使用JS画出图表,而大多后端JAVA开发人员对JS不太熟悉,导致身心倍受折磨,今天记录以下最近我使用echarts的步骤,供参考:一、环境说明前端框架:echarts、Jquery后端框架:SPRINGMVC二、开发过程前端代码:I...
分类:
编程语言 时间:
2014-05-31 11:43:58
阅读次数:
433