开始聊MapReduce，MapReduce是Hadoop的计算框架，我学Hadoop是从Hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技 ...
分类：
其他好文 时间：
2017-04-10 00:52:41
阅读次数：
308
1.在IDEA下新建工程,选择from Mevan GroupId:WordCount ArtifactId:com.hadoop.1st Project name:WordCount 2.pom.xml文件 3.main/java目录下新建WordCount.java文件 4.在src同级目录下新 ...
分类：
其他好文 时间：
2017-03-26 19:36:24
阅读次数：
161
1 查询文件系统 (1) 文件元数据：FileStatus，该类封装了文件系统中文件和目录的元数据，包括文件长度、块大小、备份、修改时间、所有者以及版权信息。FileSystem的getFileStatus()方法用于获取文件或目录的FileStatus对象。 例：展示文件状态信息 (2) 列出文件 ...
分类：
其他好文 时间：
2017-03-19 23:55:34
阅读次数：
500
分布式计算框架Hadoop 1 Hadoop是什么？ Hadoop是一种开源的适合大数据的分布式存储和处理的平台。 Hadoop 是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Apache Had ...
分类：
其他好文 时间：
2017-03-19 16:05:27
阅读次数：
387
一、uber模式 MapReduce以Uber模式运行时，所有的map，reduce任务都在一个jvm中运行，对于小的mapreduce任务，uber模式的运行将更为高效。 uber模式配置，在mapred-site.xml中进行配置，如下 mapreduce.job.ubertask.enable ...
分类：
其他好文 时间：
2017-03-17 23:32:08
阅读次数：
174
一、fsimage，edits和datanode的block在本地文件系统中位置的配置 fsimage：hdfs-site.xml中的dfs.namenode.name.dir 值例如file:///opt/software/hadoop/data/nn/image edits：hdfs-site. ...
分类：
其他好文 时间：
2017-03-11 23:07:10
阅读次数：
182
在etc/profile文件中添加 1.hadoop-env.sh文件 修改java_home的位置 2.修改core-site.xml文件 3.修改hdfs-site.xml文件 4.mapred-site.xml ...
分类：
其他好文 时间：
2017-03-10 23:33:15
阅读次数：
166
1.mrjob介绍 一个通过mapreduce编程接口（streamming）扩展出来的Python编程框架。 2.安装方法 pip install mrjob，略。初学，叙述的可能不是很细致，可以加我扣扣：2690382987，一起学习和交流~ 3.代码运行方式 下面简介mrjob提供的3种代码运 ...
分类：
其他好文 时间：
2017-02-20 23:02:41
阅读次数：
213
云帆大数据视频学习笔记，记录如下。 一、主机名设置的规范 /etc/hosts文件中添加如下的记录： 192.168.1.128 hadoop-yarn.cloudyhadoop.com had-yarn 需要注意的地方： 1.顺序问题，带域名的主机名在前，短主机名在后 2.不能出现大写字母 3.不 ...
分类：
其他好文 时间：
2017-02-10 23:03:42
阅读次数：
171
Hadoop部署方式
本地模式
伪分布模式(在一台机器中模拟，让所有进程在一台机器上运行)
集群模式 服务器只是一堆废铁而已，上面跑了tomcat，我们叫它web服务器；上面跑了mysql，我们叫它...
分类：
其他好文 时间：
2017-02-09 16:15:32
阅读次数：
126
