Hadoop原生的计算框架MapReduce，简单概括一下：进程量级很重，启动很慢，但能承载的数据量很大，效率相较于Spark微批处理和Flink实时来讲很慢，Shuffle任何一个写MR同学都必须掌握的东西，说难不难，说简单也不简单 MapReduce程序的五个阶段： input map shuf ...
分类：
其他好文 时间：
2020-07-15 15:53:30
阅读次数：
58
认识 Spring Cloud Gateway Spring Cloud Gateway 是一款基于 Spring 5，Project Reactor 以及 Spring Boot 2 构建的 API 网关，是 Spring Cloud 微服务生态的主要组件之一。Spring Cloud Gatew ...
分类：
编程语言 时间：
2020-07-14 00:28:06
阅读次数：
51
A <|-- B B继承A C <|.. D D实现C接口 E --> F 关联关系 E中含有成员变量F E o-- G 聚合关系 E中含有成员变量G 是整体和组合的关系 G可以脱离E独自存在 E *-- H 组合关系 E中含有成员变量H 是整体和组合的关系 H和E的生命周期一致 E销毁了H就不存在 ...
分类：
其他好文 时间：
2020-07-13 14:05:19
阅读次数：
63
Hive是个啥？ 用类似sql语句实现对分布式存储系统的数据读写、管理功能。 HIVE特点 1.使用类sql语句分析大数据，避免MapReduce程序分析数据 2.数据存储在HDFS上，不是HIVE上 3.Hive将数据映射成数据库和一张张表，库和表的元数据信息一般存在关系型数据库。 元数据：描述数 ...
分类：
其他好文 时间：
2020-07-13 12:07:13
阅读次数：
73
一、 引言 对于一个多人团队来说，制定一个统一的规范是必要的，因为个性化的东西无法产生良好的聚合效果，规范化可以提高编码工作效率，使代码保持统一的风格，以便于代码整合和后期维护。 二、 HTML/CSS规范 2.1 浏览器兼容 根据公司业务要求而定，一般：主流程测试：Chrome 30+、IE9+； ...
分类：
Web程序 时间：
2020-07-13 11:31:28
阅读次数：
75
一，执行流程 由图我们可以看到， MapReduce存在以下4个独立的实体。 JobClient：运行于client node，负责将MapReduce程序打成Jar包存储到HDFS，并把Jar包的路径提交到Jobtracker，由Jobtracker进行任务的分配和监控。 JobTracker：运 ...
分类：
其他好文 时间：
2020-07-12 22:18:50
阅读次数：
82
对于个人的理解来说，桥接模式就是有两个抽象类，其中一个类有另一个类的引用，然后对于两个抽象类的子类来说，就有了一种聚合的关系. public abstract class Abstraction { private Implementor imp; //约束子类必须实现该构造函数 public Ab ...
分类：
其他好文 时间：
2020-07-12 20:50:18
阅读次数：
54
迭代器模式是针对集合对象而生的，对于集合对象而言，肯定会涉及到对集合的添加和删除操作，同时也肯定支持遍历集合元素的操作，我们此时可以把遍历操作放在集合对象中，但这样的话，集合对象既承担太多的责任了，面向对象设计原则中有一条就是单一职责原则，所有我们要尽可能地分离这些职责，用不同的类取承担不同的责任， ...
分类：
其他好文 时间：
2020-07-12 17:12:04
阅读次数：
61
一、工程结构规划 jansens-common：公共代码模块、主要放置一些工具类。 jansens-core：核心业务代码模块，主要封装公共业务模块。 jansens-admin：后台管理模块，包含用户、角色、菜单管理，权限管理等。 jansens-pom：聚合模块，仅为简化打包，一键执行打包所有模 ...
分类：
编程语言 时间：
2020-07-12 14:26:33
阅读次数：
123
算法的开章，递归是实现其他高级算法如深度优先、分治等的基础； 碰到一个题目就找它的重复性，重复性有最近的重复性（根据重复性怎么构造怎么分解-->分治、回溯等办法，本质就是递归），或者最优重复性（即动态规划）。 本质上就是找它的重复性。 找重复性以及分解问题，最后组合每个子问题的结果。 1. 分治 D ...
分类：
编程语言 时间：
2020-07-11 19:23:28
阅读次数：
48
