目前，SPARK在大数据处理领域十分流行。尤其是对于大规模数据集上的机器学习算法，SPARK更具有优势。一下初步介绍SPARK在linux中的部署与使用，以及其中聚类算法的实现。...
分类：
编程语言 时间：
2014-11-12 21:21:04
阅读次数：
264
进入 $HADOOP/bin一.文件操作文件操作 类似于正常的linux操作前面加上“hdfs dfs -”前缀也可以写成hadoop而不用hdfs,但终端中显示Use of this script to execute hdfs command is deprecated.Instead use ...
分类：
其他好文 时间：
2014-11-11 18:42:45
阅读次数：
226
笔记：在配置好了spark后，如果需要添加/删除一个结点需要修改如下配置文件cd $HADOOP/etc/hadoop 进入hadoop配置文件夹下修改 slaves，将对应的节点添加/删除修改hdfs-site.xml , 修改hdfs副本的数量。cd $SPARK_HOME/conf 进入spa...
分类：
其他好文 时间：
2014-11-11 14:08:26
阅读次数：
589
1、同步时钟自动同步crontab -e输入如下内容 01*** /usr/sbin/ntpdate us.pool.ntp.org2、配置主机名gedit /etc/sysconfig/network 修改主机名如下NETWORKING=yes #启动网络NETWORKING_IPV6=noHOS...
分类：
其他好文 时间：
2014-11-10 21:45:00
阅读次数：
201
用到的软件：Hadoop-2.4.0、scala-2.10.4、spark-1.1.0一、预备工作配好ssh二、配置工作首先配置Hadoop 这个可以参考官方网站电接点配置http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-...
分类：
其他好文 时间：
2014-11-10 11:23:08
阅读次数：
183
下载最新的openfire安装文件官方下载站点：http://www.igniterealtime.org/downloads/index.jsp#openfire我使用的是zip解压版的安装文件。其中openfire是服务器，下面还有一个spark，这个是一个XMPP协议通信聊天的CS的IM软件，...
分类：
其他好文 时间：
2014-11-10 11:17:46
阅读次数：
124
IDE：eclipseSpark:spark-1.1.0-bin-hadoop2.4scala:2.10.4创建scala工程，编写wordcount程序如下package com.luogankun.spark.baseimport org.apache.spark.SparkConfimport...
分类：
编程语言 时间：
2014-11-09 23:29:11
阅读次数：
231
