好程序员大数据学习路线分享MAPREDUCE，需求：统计大量的文本文件中的单词出现的次数1）整个运算需要分阶段阶段一：并行局部运算阶段二：汇总处理，不同的阶段需要开发不同的程序2）阶段之间的调用3）业务程序（task程序）如何并发到集群并启动程序4）如何监控task程序的运行状态，如何处理异常::这些问题是开发分布式程序都会面临的问题，完全可以封装成框架::MR的结构一个完整的MapReduc
分类：
其他好文 时间：
2019-08-23 00:24:34
阅读次数：
114
a.配置项(在分布式环境中配置) 1.RPC访问地址 mapreduce.jobhistory.address 2.HTTP访问地址 mapreduce.jobhistory.webapp.address b.（伪分布式环境中直接使用即可） mr-jobhistory-daemon.sh start ...
分类：
其他好文 时间：
2019-08-22 10:57:02
阅读次数：
84
为什么要有Sqoop？ 将数据从别的数据库导到Hadoop、Hbase或Hive太麻烦了。 什么是Sqoop？ Sqoop就是Hadoop、Hive、HBase等数据仓库与数据库之间传输数据的工具。，就是将导入(输入)和导出(输出)的命令映射成MR程序。 导入：MySQL等数据库数据导入到HDFS、 ...
分类：
其他好文 时间：
2019-08-20 01:07:48
阅读次数：
88
为什么要有Hive？ 在使用Hadoop的过程中，大家都会感觉每次都要写MR程序才能操作到HDFS的文件，太麻烦了，而且如果项目又赶，项目人员不会写MR程序，还要花费大量的时间去学，但是我是知道文件内容，是用什么分割的，分割后的每一列是什么意思，感觉好像关系型数据库。 于是有群人就有了个想法，既然我 ...
分类：
其他好文 时间：
2019-08-20 01:02:43
阅读次数：
86
The Tourist Guide Mr. G. works as a tourist guide. His current assignment is to take some tourists from one city to another. Some two-way roads connec ...
分类：
其他好文 时间：
2019-08-16 22:45:48
阅读次数：
123
在Mapper和Reducer之间有一个非常重要的组件Combiner。每一个map都可能会产生大量的本地输出，Combiner的作用就是对map端的输出先做一次合并，以减少在map和reduce节点之间的数据传输量，以提高网络IO性能，是MapReduce的一种优化手段之一 Combiner最基本 ...
分类：
其他好文 时间：
2019-08-16 17:10:59
阅读次数：
83
1、输入文件分片，每一片都由一个MapTask来处理 2、Map输出的中间结果会先放在内存缓冲区中，这个缓冲区的大小默认是100M，当缓冲区中的内容达到80%时（80M）会将缓冲区的内容写到磁盘上。也就是说，一个map会输出一个或者多个这样的文件，如果一个map输出的全部内容没有超过限制，那么最终也 ...
分类：
其他好文 时间：
2019-08-15 14:31:36
阅读次数：
131
Mr. Zstu and Mr. Hdu are taking a boring class , Mr. Zstu comes up with a problem to kill time, Mr. Hdu thinks it’s too easy, he solved it very quickl ...
分类：
其他好文 时间：
2019-08-13 22:49:01
阅读次数：
101
1 package com.twod3z; 2 3 import java.io.*; 4 5 /** 6 * @program: com.twod3z 7 * @description:替换文本文件内容 8 * @author: Mr.Lin 9 * @create: 2019年8月3日 10 * ...
分类：
其他好文 时间：
2019-08-04 19:59:42
阅读次数：
115
#!/usr/bin/env bash ############################### # 脚本名称 : userManager.sh # # 脚本功能 : 账号管理 # # 脚本参数 : 无 # # 创建时间 : 2019-07-25 # # 作 者 : Mr.Guo # # 版 ... ...
分类：
系统相关 时间：
2019-07-27 23:54:44
阅读次数：
210
