Hadoop中的HelloWorld程序--WordCount！！！！ ...
分类：
其他好文 时间：
2016-04-07 01:23:42
阅读次数：
210
一，卸载jdk 1.确定jdk版本 #rpm -qa | grep jak 可能的结果： java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64 java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_6 ...
分类：
其他好文 时间：
2016-04-04 16:22:22
阅读次数：
114
Hadoop学习笔记内容说明_00 1、 观看云帆大数据梦琪老师的《企业级 Hadoop 1.x 应用开发基础课程》2014年4月左右版本。 2、 博客是在梦琪老师的随堂笔记上改动的，方便的是自己以后回顾学习，也或许能给需要改方面帮助的同行提供些许帮助，在此非常感谢梦琪老师。 3、 本系列是在Cen
分类：
其他好文 时间：
2016-03-04 15:57:51
阅读次数：
197
1. 查找历年最高的温度。MapReduce任务过程被分为两个处理阶段：map阶段和reduce阶段。每个阶段都以键/值对作为输入和输出，并由程序员选择它们的类型。程序员还需具体定义两个函数：map函数和reduce函数。对应的Java MapReduce代码如下：public class MaxT...
分类：
其他好文 时间：
2016-01-03 02:41:22
阅读次数：
655
Hadoop有一个称为HDFS的分布式系统，全称为Hadoop Distributed Filesystem。HDFS有块（block）的概念，默认为64MB，HDFS上的文件被划分为块大小的多个分块，作为独立的存储单元。使用块的好处在于：1. 一个文件大小可以大于集群网络中任意一个磁盘的容量，文件...
分类：
其他好文 时间：
2015-11-13 18:55:55
阅读次数：
309
1.什么是分布式文件系统？管理网络中跨多台计算机存储的文件系统称为分布式文件系统。2.为什么需要分布式文件系统了？原因很简单，当数据集的大小超过一台独立物理计算机的存储能力时候，就有必要对它进行分区（partition）并存储到若干台单独计算机上。3.分布式系统比传统的文件的系统更加复杂因为分布式文...
分类：
其他好文 时间：
2015-10-15 18:34:01
阅读次数：
220
之前有幸在MOOC学院抽中小象学院hadoop体验课。这是小象学院hadoop2.X概述第八章的笔记主要介绍HBase，一个分布式数据库的应用案例。案例概况：1）时间序列数据库(OpenTSDB)用HBase储存时间序列数据，每时每刻都在解决，数据库为开源2）HBase爬虫调度库垂直搜索爬虫大规模爬...
分类：
其他好文 时间：
2015-08-28 22:51:40
阅读次数：
203
前言 大数据实在是太热，一直对新技术充满着向往，其实hadoop也不是新技术，已经好几年了。打算学习，一下hadoop整个生态圈的内容。这篇文章介绍一下环境搭...
分类：
系统相关 时间：
2015-08-13 13:51:53
阅读次数：
185
1) hdfs文件系统准备工作
2）编写程序
3）eclipse上运行
4）javac方式运行
5）eclipse输出jar包...
分类：
其他好文 时间：
2015-07-31 23:34:18
阅读次数：
136
cygwin上准备hadoop安装环境,基本上参照文章做就OK，这边主要是遇到的问题http://blog.csdn.net/success041000/article/details/68304541 ssh-host-config 错误： There are still ssh processe...
分类：
其他好文 时间：
2015-07-31 21:51:19
阅读次数：
144
