单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。
1.配置hadoop_home/et...
分类:
其他好文 时间:
2015-01-04 11:25:01
阅读次数:
206
内容包括hadoop单机版、伪分布式、分布式搭建方式以及在Eclipse上面安装hadoop插件配置hadoop,本菜亲测成功,希望对大家能产生帮助:
http://www.cnblogs.com/kinglau/category/509016.html
http://www.cnblogs.com/huligong1234/p/3533382.html
http://aub.ite...
分类:
其他好文 时间:
2014-12-26 23:06:19
阅读次数:
324
基于mahout的itembased算法
其实mahout分布式上只是实现了部分算法。比如推荐算法中Item-based和slopone都有hadoop实现和单机版实现,User-based没有分布式实现。
Mahout已实现的算法(单机版和分布式版)
https://mahout.apache.org/users/basics/algorithms.html
大多...
分类:
编程语言 时间:
2014-12-23 00:18:47
阅读次数:
230
mahout入门指南之mahout单机版推荐算法
鄙人最近在研究mahout,网上找了一些入门资料来看,发现都整理的比较乱。折腾了一番,终于搞清楚了。为了让新手们较快入门,决定总结分享一下,写此入门指南。
mahout是什么?
mahout是一个机器学习库,里面实现了一些算法,比如推荐算法,聚类算法。
实现方式有单机内存版,也有分布式(hadoop和spark)。...
分类:
编程语言 时间:
2014-12-06 15:26:15
阅读次数:
368
本文翻译自:?https://github.com/nathanmarz/storm/wiki/Tutorial Storm是一个分布式的、高容错的实时计算系统。 Storm对于实时计算的的意义相当于Hadoop对于批处理的意义。Hadoop为...
分类:
其他好文 时间:
2014-12-04 01:13:02
阅读次数:
467
接到公司任务,同一用户的3个单机版数据库要合并。于是在以前的函数的基础上完成了导库模块。实际导库后,发现速度越来越慢。总共1700个项目,最初,1小时200个项目;几小时后,90分钟200项目;一天后,1小时50项目;几小时后,1小时,10项目。
急了,打电话给数据库管理员。他让我查看v$session_event表,没看明白。v$sqlarea表比较容易理解,于是看了一下,
很快发现...
分类:
数据库 时间:
2014-12-03 19:15:48
阅读次数:
151
在配置一个Storm环境之前,首先需要一个Linux操作系统。常见的linux系统有CentOS、Red Hat、Ubuntu等,我使用的是Ubuntu 14.04。系统尽量是最新的,对于旧版本的ubuntu,软件源支持不太好,apt-get install会发生错误 总的来说,storm安装...
分类:
其他好文 时间:
2014-12-02 23:55:23
阅读次数:
236
接到一个朋友打来的求助电话,在安装oracle11g单机版的时候新建监听报错如下:
Message 1070 not found; No message file for product=network, facility=TNSTNSLSNR for Linux: Version
............
原因:在oracle用户配置环境变量文件.bash_profile时没...
分类:
Web程序 时间:
2014-11-26 16:36:32
阅读次数:
144
流水号的获取在单机版的程序中只需要简单的递增就可以解决。但是在分布式系统中存在多个客户端同时请求同一个流水号的问题,如果处理不好容易导致多个客户端获得同一个流水号。解决方案一 在Oracle数据库中有专门的序列管理sequence,具体的介绍在网上可以找到很多。但是在实际使用中存在很多的问题:...
分类:
其他好文 时间:
2014-11-21 12:34:54
阅读次数:
412
说明:参考Mahout FP算法相关相关源码。算法工程可以在下载:(只是单机版的实现,并没有MapReduce的代码)使用FP关联规则算法计算置信度基于下面的思路:1. 首先使用原始的FP树关联规则挖掘出所有的频繁项集及其支持度;这里需要注意,这里是输出所有的频繁项集,并没有把频繁项集合并,所以需要修改FP树的相关代码,在某些步骤把所有的频繁项集输出;(ps:参考Mahout的FP树单机版的实现,...
分类:
编程语言 时间:
2014-11-19 15:58:12
阅读次数:
262