一、Hadoop的安装模式有3种 ①单机模式：不能使用HDFS，只能使用MapReduce，所以单击模式主要用于测试MR程序。 ②伪分布式模式：用多个线程模拟真实多台服务器，即模拟真实的完全分布式环境。 ③完全分布式模式：用多台机器（或启动多个虚拟机）来完成部署集群。 二、安装主要涉及以下内容： ① ...
分类：
其他好文 时间：
2019-07-25 00:07:47
阅读次数：
137
新建项目项目负责人在项目组下面新建项目（以下简称‘主项目’），所有参与该项目开发的人员，必须fork此项目到自己的工程（以下简称‘fork项目’），然后进行开发。主项目分支主项目建立hotfix、release、dev、test四个分支。dev分支dev是开发分支，开发分支是更新最频繁的分支，开发人员正在开发的代码都必须且只能提交MergeRequest（以下简称MR）到这个分支。test分支te
分类：
其他好文 时间：
2019-07-23 11:30:59
阅读次数：
111
Spark是借鉴了mapreduce并在其基础上发展起来的，继承了其分布式计算的优点并改进了mapreduce明显的缺陷，但是二者也有不少的差异具体如下： 1、spark把运算的中间数据存放在内存，迭代计算效率更高；mapreduce的中间结果需要落地，需要保存到磁盘，这样必然会有磁盘io操做，影响 ...
分类：
其他好文 时间：
2019-07-22 20:04:25
阅读次数：
397
本文转自：https://www.cnblogs.com/insane-Mr-Li/p/9121619.html 自动化测试中，测试报告一般都需要发送给相关的人员，比较有效的一个方法是每次执行完测试用例后，将测试报告（HTML、截图、附件）通过邮件方式发送。 首先我们要做： 进入163邮箱，点击设置 ...
分类：
编程语言 时间：
2019-07-18 18:03:34
阅读次数：
179
猛犸大数据平台经过去年一年的快速发展，已成为公司内多个产品的大数据开发工具的首选，作为一个当初定位为开发门户的这样一个平台网站，以调度管理为核心，将公司内已有的大数据工具进行了整合，提供了可视化的操作界面、统一的用户权限管理机制。洞悉原油开发流程的用户可以在猛犸上找到很熟悉的感觉，DS接入，MR任务 ...
分类：
其他好文 时间：
2019-07-18 12:08:12
阅读次数：
208
-->生日蛋糕 Descriptions: 7月17日是Mr.W的生日，ACM-THU为此要制作一个体积为Nπ的M层生日蛋糕，每层都是一个圆柱体。 设从下往上数第i(1 <= i <= M)层蛋糕是半径为Ri, 高度为Hi的圆柱。当i < M时，要求Ri > Ri+1且Hi > Hi+1。 由于要在 ...
分类：
其他好文 时间：
2019-07-17 00:44:22
阅读次数：
95
前面2篇文章知道了HDFS的存储原理，知道了上传和下载文件的过程，同样也知晓了MR任务的执行过程，以及部分代码也已经看到，那么下一步就是程序员最关注的关于MR的业务代码（这里不说太简单的）： 一、关于MapTask的排序 mapTask正常情况，按照key的hashcode进行从小到大的排序操作，形 ...
分类：
其他好文 时间：
2019-07-12 00:40:00
阅读次数：
108
创建学员类 package com.oned6z; /** * @program: com.oned6z * @description: 创建学员类 * @author: Mr.Lin * @create: 2019年7月9日 **/public class Stu { public String ...
分类：
其他好文 时间：
2019-07-09 12:12:17
阅读次数：
144
https://www.cnblogs.com/insane-Mr-Li/p/9099333.html 每天逼着自己写点东西，终有一天会为自己的变化感动的。这是一个潜移默化的过程，每天坚持编编故事，自己不知不觉就会拥有故事人物的特质的。 Explicit is better than implici ...
分类：
其他好文 时间：
2019-07-08 13:47:30
阅读次数：
156
题目： Problem Description Mr Wang wants some boys to help him with a project. Because the project is rather complex, the more boys come, the better it w ...
分类：
其他好文 时间：
2019-07-06 19:05:17
阅读次数：
115
