随着毕业设计的进行，大学四年正式进入尾声。任你玩四年的大学的最后一次作业最后在激烈的选题中尘埃落定。无论选择了怎样的选题，无论最后的结果是怎样的，对于大学里面的这最后一份作业，也希望自己能够尽心尽力，好好做。正是因为选题和hadoop有关，现在正式开始学习hadoop。将笔记整理于此，希望与志同道....
分类：
其他好文 时间：
2014-12-28 00:22:16
阅读次数：
237
各种纠结 期间ubuntu安装无数次 hadoop各种版本尝试无数次 都悲剧 然后看到这个www.linuxidc.com/Linux/2013-01/78391.htm 还是悲剧，稍加修改搞定之
一、安装JDK
1、下载并安装
sudo apt-get install openjdk-7-jdk
要求输入当前用户密码时输入密码，回车；
...
分类：
系统相关 时间：
2014-11-23 23:30:25
阅读次数：
250
hadoop入门-在windows上安装，测试hadoop...
hadoop入门-在windows上编译x64位hadoop...
第一部分：Hadoop Bin后面根据项目的实际需要Hadoop Bin包括:Hadoophadoop的Shellhadoop-config.sh 它的作用是对一些变量进行赋值 HADOOP_HOME（hadoop的安装目录）。 HADOOP_CONF_DIR（hadoop的配置文件目录）。HADO...
分类：
其他好文 时间：
2014-09-29 12:09:37
阅读次数：
169
以下程序在hadoop1.2.1上测试成功。
本例先将源代码呈现，然后详细说明执行步骤，最后对源代码及执行过程进行分析。
一、源代码
package org.jediael.hadoopdemo.wordcount;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop...
分类：
其他好文 时间：
2014-08-20 16:30:42
阅读次数：
243
一、Hadoop构造模块
运行Hadoop的意思其实就是运行一组守护进程（daemons），每个进程都有各自的角色，有的仅运行在单个服务器上，有的则运行在集群多个服务器上，它们包括：
NameNodeSecondary NameNodeDataNodeJobTrackerTaskTracker
Hadoop是一个分布式存储与计算系统，分布式存储部分是HDFS，分布...
分类：
其他好文 时间：
2014-07-19 02:31:56
阅读次数：
188
六、Hadoop1.x与Hadoop2的区别1、变更介绍Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：l HDFS的NameNodes可以以集群的方式布署，增强了NameNodes的水平扩展能力和可用性；l MapReduce将JobTracker中的资源管理及任务生命周期管理...
分类：
其他好文 时间：
2014-06-22 14:07:49
阅读次数：
256
从数据爆炸开始。。。
1.1 第三次工业革命
第一次：18世纪60年代，手工工厂向机器大生产过渡，以蒸汽机的发明和使用为标志。
第二次：19世纪70年代，各种新技术新发明不断被应用于工业生产，以电力的发明使用为标志。
第三次：20世界四五十年代末，以高新技术为代表的新科学技术革命，以原子能、航天技术和电子计算机
1.2 信息技术发展...
分类：
其他好文 时间：
2014-06-21 21:12:22
阅读次数：
399
前言Hadoop从存储上来说，是类似于冗余磁盘阵列(RAID)的存储方式，将数据分散存储并提供以提供吞吐量，它的存储系统就是HDFS（Hadoop Distuibute Fils System）；从计算上来说，它通过MapReduce模型，将大数据的计算分发到多台计算机上完成，再将结果合并，减少计算的时间。Hadoop适合于：1、超大数据的计算；2、一次写入、多次读取的模式；3、可以跑在普通的硬件...
分类：
其他好文 时间：
2014-06-16 22:58:13
阅读次数：
250
