声明:1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。
2)本小实验工作环境为Ubuntu操作系统,hadoop1-2-1,jdk1.8.0。
3)统计词频工作在单节点的伪分布上,至于真正实际集群的配置操作还没有达到,希望能够由本文抛砖引玉。(一)Hadoop的配置修正 网上有很多...
分类:
其他好文 时间:
2014-05-05 21:54:47
阅读次数:
456
在Hadoop集群环境下安装Mahout。环境:OS:Centos 6.5 x64 &
Soft:Hadoop 1.2.1 & Mahout
0.91、简介mahout项目主页:https://mahout.apache.org/下载二进制包,上传到服务器。2、安装用集群环境用户安装,解压二进制包。...
分类:
其他好文 时间:
2014-05-05 21:35:23
阅读次数:
429
在windows下通过安装cygwin模拟linux环境,然后再安装hadoop,是一种简单方便的方式。为hadoop准备的windows下cygwin环境安装过程如下:
- 下载安装文件
最新的cygwin安装文件setup.exe下载地址在这里:http://cygwin.com/install.html。用最新版本的cygwin就可以,我用的是2.774版本的安装程序。
- 安装cyg...
能够将热爱的技术应用于实际生活生产中,是做技术人员向往和乐之不疲的事。
现将前期手里面的一个项目做一个大致的总结,与大家一起分享、交流、进步。项目现在正在线上运行,项目名——基于Hadoop的数据分析综合管理平台。
项目流程整体比较清晰,爬取数据(txt文本)-->数据清洗-->文本模型训练-->文本分类-...
分类:
其他好文 时间:
2014-05-04 00:22:05
阅读次数:
476
想要提升编程效率么?快来看看如何设置自动提示!...
分类:
系统相关 时间:
2014-05-04 00:09:56
阅读次数:
349
Eclipse SWT开发教程以及一个连连看游戏的代码实现下载,代码下载地址:http://www.zuidaima.com/share/1772672482675712.htm...
分类:
系统相关 时间:
2014-05-04 00:05:57
阅读次数:
675
摘要:通过本文你将获得如何在Eclipse平台上开发C/C++项目的总体认识。虽然Eclipse主要被用来开发Java项目,但它的框架使得它很容易实现对其他开发语言的支持。在这篇文章里,你将学会如何使用CDT(C/C++
Development Toolkit),一个在Eclipse平台上最适用的C...
分类:
编程语言 时间:
2014-05-03 22:11:14
阅读次数:
586
centos 配置hadoop 2.2. 非常全面...
分类:
其他好文 时间:
2014-05-03 16:39:17
阅读次数:
369
本文主要介绍了MapReduce中的Combiner操作。在MapReduce的执行步骤中,我们一共分了8步,其中Map中的最后一步规约操作就是今天要讲的Combiner。首先看一下前文中的计数器:我们可以发现,其中有两个计数器:Combineoutputrecords和Combineinputrecords,他们的计数都是0,这是..
分类:
其他好文 时间:
2014-05-03 15:00:55
阅读次数:
323
本文主要介绍了MapReduce中的自定义计数器的相关内容。在上次的单词统计例子中,我们可以看到MapReduce在执行过程中会有很多的控制台输出信息,其中有一个很关键的内容:计数器。如下图:可以看到最上方的关键字:Counters,这就表示计数器。在这里,只有一个制表符缩进的表示..
分类:
其他好文 时间:
2014-05-03 14:56:19
阅读次数:
336