最近项目研究大数据，即开始研究hadoop，主要参考以下几篇文章： 1.微信一篇hadoop的配置文章，我用的是mac，因此是一个all in one的配置，既不是分布式，也不是伪分布式，这点需要改进和学习 2.了解hadoop的map和reduce的过程 3.运行wordcount，先是用自带的统 ...
分类：
其他好文 时间：
2016-03-24 06:32:34
阅读次数：
193
//这个是在原来的基础上改动以后得到的，将当中的分词的根据给换掉了，而且进行词频统计的时候会自己主动的忽略大写和小写 packageorg.apache.hadoop.mapred; importjava.io.IOException; importjava.util.ArrayList; impo ...
分类：
其他好文 时间：
2016-03-23 21:40:57
阅读次数：
261
设计思路： 关键是思路，首先知道 单词， 行，字符， 他们有什么特点： 1、单词，标准的是遇到空格后，单词数，自动加一。 2、行是以\n结束的， 也就是说， 遇到\n行数加一，当然也视你的操作系统而言。3、字符， 空格是否记在里面？ 等因素需要考虑。所以这就要求我们将文件读入，逐字检测，检测到空格单
分类：
其他好文 时间：
2016-03-23 17:10:06
阅读次数：
193
这一星期要完成三个小作业，完成前两个已经让我很吃力的了，现在这个WordCount的编程我都没有头绪，不知道从何下手。虽然要求很看起来很简单，可是不知道怎么去设计这个程序，这两天我也在积极找书学习相关知识，基本的语句，文件的创建，指针这些都需要在程序中用到，这次没写能写出来，希望老师可以理解，但我会
分类：
其他好文 时间：
2016-03-23 16:48:01
阅读次数：
114
wordcount程序要求测出文本中的单词数，字符数和行数。 设计思路： 将文件读入，逐字检测，检测到空格单词数加一，检测到回车行数单词数加一，如果既不是回车也不是空格则说明是字符，字符数加一 编程时发现的问题： 以上思路针对的是正常输入的文本，实际输入时还会出现种种特殊情况。 1.在一行结束时（换
分类：
其他好文 时间：
2016-03-22 21:51:40
阅读次数：
204
这次来联系怎么用VS2015来进行C#代码的单元测试管理，首先，正好上次写了一个C#的WordCount程序，就用它来进行单元测试联系吧。 首先，根据VS2015的提示，仅支持在共有类或共有方法中支持创建单元测试。所以，如果我们要测试私有或是保护的类和方法，是要先将他们暂时设定成公有类型。 在VS2
log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).log4j:WARN Please initialize the log4j system properly.log4j:WARN See
分类：
系统相关 时间：
2016-03-17 21:39:31
阅读次数：
235
系统： Ubuntu14.04 Hadoop版本： 2.7.2 参照http://www.cnblogs.com/taichu/p/5264185.html中的分享，来学习运行第一个hadoop程序。 在hadoop的安装文件夹 /usr/local/hadoop下创建input文件夹 hadoop
分类：
其他好文 时间：
2016-03-17 00:16:33
阅读次数：
303
Eclipse Idigo、JDK1.7-32bit、hadoop1.2.1、hadoop-eclipse-plugin-1.2.1.jar（自己网上下载） 1）将hadoop-eclipse-plugin-1.2.1.jar放到eclipse安装目录的plugins文件夹中，重新启动eclipse
分类：
编程语言 时间：
2016-03-15 12:04:25
阅读次数：
176
