hadoop完全分布式集群有一般集群和HA高可用集群 一般集群只有一个namenode节点，当namenode节点出现故障时，整个集群将无法使用。因此，相对的出现了HA集群 HA集群具有主备切换机制，有两个namenode节点，active/standby namenode，两个节点元数据同步， 当 ...
分类：
其他好文 时间：
2020-05-23 20:27:21
阅读次数：
63
该课程总共22讲，分为五个部分。第一部分是课程介绍，对该课程需要使用的工具和课程规划进行一个简单的介绍。第二部分主要介绍kettle工具的安装和相关概念的介绍，并通过一个kettle小案例带领大家入门。第三部分主要讲解kettle工具各种控件的使用。第四部分则讲解kettle工具的一些高阶应用功能。第五部分给大家讲解kettle的实战综合案例。每次课程都是通过案例进行讲解，并提供详细的教案文档。整个讲解深入浅出，通俗易懂。
分类：
其他好文 时间：
2020-05-21 23:52:46
阅读次数：
212
在传统的单体应用架构中,一个应用程序对应一台服务器，提供单进程服务。 但是随着业务的升级,技术的更新迭代，分布式、集群架构、微服务等现已俨然成为主流。 几乎所有的项目都会与文件挂钩,例如OA系统的报表文件，电商系统的商品图片等等... 我们来看一下传统的(单体应用)文件存储与读取方式 一台主机对于N ...
分类：
其他好文 时间：
2020-05-19 20:02:39
阅读次数：
246
多线程 35. 并行和并发有什么区别？ 并行是指两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔发生。 并行是在不同实体上的多个事件，并发是在同一实体上的多个事件。 在一台处理器上“同时”处理多个任务，在多台处理器上同时处理多个任务。如hadoop分布式集群。 所以并发编程的目 ...
分类：
编程语言 时间：
2020-05-19 00:57:50
阅读次数：
61
随着大数据时代的到来和人工智能的崛起，机器学习所能处理的场景更加广泛和多样。构建的模型需要对批量数据进行处理，为了达到实时性的要求还需要直接对流式数据进行实时预测，还要具备将模型应用在企业应用和微服务上能力。为了取得更好的业务效果，算法工程师们需要尝试更多更复杂的模型，需要处理更大的数据集，使用分布式集群已经成为常态；为了及时对市场的变化进行反应，越来越多的业务选用在线学习方式直接处理流式数据、实时更新模型，提高业务效果。
分类：
编程语言 时间：
2020-05-18 18:40:02
阅读次数：
129
前言 "etcd环境安装与使用" 文章中介绍了etcd的安装及 使用，本篇将介绍如何使用etcd实现服务发现功能。 服务发现介绍 服务发现要解决的也是分布式系统中最常见的问题之一，即在同一个分布式集群中的进程或服务，要如何才能找到对方并建立连接。本质上来说，服务发现就是想要了解集群中是否有进程在监听 ...
分类：
其他好文 时间：
2020-05-14 19:16:24
阅读次数：
81
生成为唯一id一般通用方案 1. UUID：如果只考虑唯一性,是可行的。 缺点： 2. 数据库自增主键 在分布式集群中的缺点： 3. 基于redis生成全局id策略 因为Redis是单线的天生保证原子性,可以使用原子操作INCR和INCRBY来实现 4. snowflake Twitter的分布式自 ...
分类：
其他好文 时间：
2020-05-04 00:49:12
阅读次数：
57
35.并行和并发有什么区别？ 1.并行是指两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔发生。 2.并行是在不同实体上的多个事件，并发是在同一实体上的多个事件。 3.在一台处理器上“同时”处理多个任务，在多台处理器上同时处理多个任务。如hadoop分布式集群。 所以并发编程的 ...
分类：
编程语言 时间：
2020-04-24 14:32:30
阅读次数：
67
前段时间，有个朋友拿到了这个文档，说多亏了这个文档，在金三银四的时候帮了很大的忙，经检测有效，决定把这个文档分享出来，希望能帮到更多的人，这里面的面试题，都是常见的高频面试题，整理出来也花了很长的时间，但或许能帮到你！！详细题目类型见下文JavaOOP面试题Java集合/泛型面试题Java异常面试题Java中的IO与NIO面试题由于篇幅有限，资料过大，有需要获取面试手册文档的朋友请见文末Java反
分类：
编程语言 时间：
2020-04-22 18:11:43
阅读次数：
75
分布式和集群 目前的项目很少会采用单机架构了，一是因为单机性能有限，二是因为单机服务一旦故障整个系统就无法继续提供服务了。所以目前集群和分布式的架构使用得很广泛，主要就是为了解决上述两个问题，一个性能问题，一个故障问题，通过分布式架构解决性能（高并发）问题，通过集群架构解决故障服务（高可用）问题。 ...
分类：
数据库 时间：
2020-04-18 09:38:46
阅读次数：
230
