前期工作我的Eclipse是安装在Windows下的，通过Eclipse执行程序连接Hadoop， 需要让虚拟机的访问地址和本机的访问地址保持在同一域内，虚拟机的地址更改前面的文章介绍过了，如果想改windows本机ip地址，打开“网络和共享中 心“，点击左侧菜单”更改适配器设置“，选择相应连接网络...
分类：
系统相关 时间：
2015-09-13 22:54:19
阅读次数：
223
在intellijidea上搭建akka开发。使用idea的原因：没有必要花时间学配置；使用idea后会越使用越自然，越用越智能。在maven，sbt上支持更好。maven的一些功能介绍，maven还是用得比较多。范例wordcount代码的简单讲解。DT大数据梦工厂微信公众账号：DT_Spark。DT大数据梦工厂的微..
分类：
其他好文 时间：
2015-09-12 00:55:46
阅读次数：
300
构建map,reduce之间通讯的消息实体类。了解wordcount原理。DT大数据梦工厂微信公众账号：DT_Spark。DT大数据梦工厂的微信公众号是DT_Spark，每天都会有大数据实战视频发布，请您持续学习。王家林DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接:http://pan.baidu.co..
分类：
其他好文 时间：
2015-09-12 00:54:46
阅读次数：
268
一、引言 在完成了Storm的环境配置之后，想着鼓捣一下Hadoop的安装，网上面的教程好多，但是没有一个特别切合的，所以在安装的过程中还是遇到了很多的麻烦，并且最后不断的查阅资料，终于解决了问题，感觉还是很好的，下面废话不多说，开始进入正题。 本机器的配置环境如下： Hadoop(2.7...
分类：
系统相关 时间：
2015-09-09 18:57:54
阅读次数：
240
错误信息如下：15/09/05 03:48:02 INFO mapreduce.Job: Job job_1441395011668_0001 failed with state FAILED due to: Application application_1441395011668_0001 fa...
分类：
其他好文 时间：
2015-09-04 21:14:33
阅读次数：
382
请参照wordcount实现一个自己的MapReduce，需求为： a. 输入文件格式： xxx,xxx,xxx,xxx,xxx,xxx,xxx b. 输出文件格式： xxx,20 xxx,30 xxx.40 c. 功能：根据命令行参数统计输入文件中指定关键字出现的次数，并展示...
分类：
其他好文 时间：
2015-09-02 23:12:45
阅读次数：
266
说明：本文档为wordcount的mapreduce job编写及运行文档。
操作系统：Ubuntu14 x64位
Hadoop：Hadoop 2.7.0...
分类：
其他好文 时间：
2015-08-21 00:19:38
阅读次数：
214
1.map阶段：将单词和URI组成Key值（如“MapReduce :1.txt”），将词频作为value。 利用MR框架自带的Map端排序，将同一文档的相同单词的词频组成列表，传递给Combine过程，实现类似于WordCount的功能。Class Map{ method map(){ ...
分类：
其他好文 时间：
2015-08-20 18:19:11
阅读次数：
240
在前两个blog中，已经说了Erlang的历史、应用场景、特点，这次主要演示一个Wordcount的示例，就是给定一个文本文件，统计这个文本文件中的单词以及该单词出现的次数。今天和群友们讨论了一个问题，突然一下子就上升到哲学角度上了，装逼装大发了。PS：图片中有错别字，%s/财务和其他9个月/财务和...
分类：
其他好文 时间：
2015-08-20 01:24:12
阅读次数：
166
网上有很多hadoop例子，但是不难发现，即使是一个wordcount都有很多不一样的地方，我们不可能总拿着别人的例子跑，所以自己要总结出一套规范，让api即使更新也能马上适应过来。这里也以hadoop 专利分析作为炮灰
右键新建map/reduce项目，然后点击项目右键Mapper,Reducer,MapperReduce Driver 并且在MapperReduce Driver 里填...
分类：
其他好文 时间：
2015-08-10 22:20:48
阅读次数：
126
