1.分库分表。 2.b树与hash索引的区别 3.zk的分布式原理 4.设计模式:单例，工厂模式 5.Redis分布式锁 6.lru最近最少使用淘汰算法 自己实现一下 7.new ArrayList(100)/new HashMap(100)扩容几次 8.同步的三种方式 9.创建对象的两种方式 10 ...
分类：
其他好文 时间：
2018-09-03 22:30:34
阅读次数：
201
1 面试题：Dubbo中zookeeper做注册中心，如果注册中心集群都挂掉，发布者和订阅者之间还能通信么？ 可以的，启动dubbo时，消费者会从zk拉取注册的生产者的地址接口等数据，缓存在本地。每次调用时，按照本地存储的地址进行调用 注册中心对等集群，任意一台宕掉后，会自动切换到另一台 注册中心全 ...
分类：
其他好文 时间：
2018-08-31 10:45:02
阅读次数：
164
来自bilibili的bfs，很喜欢它的分层结构，我认为，把它改造成类似hadoop的平台，也是可以的。 如何实现分布式存储？ 其实就是同步元信息和调度的问题，同步元信息可以使用zk，调度具体看应用。bfs的调度是随机的，根据硬盘容量来决定。bfs的调度和存储是分开的，因此可以定制，这也是它的优点之 ...
分类：
其他好文 时间：
2018-08-31 01:23:10
阅读次数：
200
1. Zookeeper概念简介： Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务 A、zookeeper是为别的分布式程序服务的 B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务） C、Zookeeper所提供的服务涵盖：主从协 ...
分类：
其他好文 时间：
2018-08-30 16:50:13
阅读次数：
193
需求： 目前kafka的topic上有一批数据，这些数据被分配到9个不同的partition中（就是发布时key:{m1,m2,m3,m4...m9},value:{records items}），mx(m1,m2...m9)这些数据的唯一键值：int_id+start_time，其中int_id和 ...
分类：
其他好文 时间：
2018-08-29 01:18:08
阅读次数：
248
第1章 分布式系统概念与ZooKeeper简介对分布式系统以及ZooKeeper进行简介，使得大家对其有大致的了解1-1 zookeeper简介1-2 什么是分布式系统1-3 分布式系统的瓶颈以及zk的相关特性 第2章 ZooKeeper安装如何安装ZooKeeper以及对ZooKeeper最基本的 ...
分类：
其他好文 时间：
2018-08-29 01:16:45
阅读次数：
227
一般情况下我们在使用Dataset<Row>进行groupByKey时，你会发现这个方法最后一个参数需要一个encoder，那么这些encoder如何定义呢？ 一般数据类型 示例： Class类型： Tuple类型： 一般类型的Tuple Tuple包含类的： 关于Encoder请参考《http:/ ...
分类：
Web程序 时间：
2018-08-29 01:02:03
阅读次数：
240
zookeeper（下文简写为zk）大家都不陌生。但是，看到很多同学对zookeeper的理解过于程式化，有些地方甚至需要背，是大可不必的。把本质理解了，概念性和功能介绍都可以推出来的，而且架构要活学活用，透过现象看本质，才能对技术和技术领悟有大的提升。下面来看下zk的功能及本质。 zookeepe ...
分类：
其他好文 时间：
2018-08-27 23:19:18
阅读次数：
258
事情经过：之前该topic(M_A)已经存在，而且正常消费了一段时间，后来删除了topic(M_A)，重新创建了topic（M-B），程序使用新创建的topic（M-B）进行实时统计操作，执行过程中抛出了一下异常： 错误原因，在structured streaming编程时，使用checkpoint ...
分类：
其他好文 时间：
2018-08-24 13:27:28
阅读次数：
272
什么是Zookeeper？ Zookeeper（业界简称zk）是一种提供配置管理、分布式协同以及命名的中心化服务，这些提供的功能都是分布式系统中非常底层且必不可少的基本功能，但是如果自己实现这些功能而且要达到高吞吐、低延迟同时还要保持一致性和可用性，实际上非常困难。因此zookeeper提供了这些功 ...
分类：
其他好文 时间：
2018-08-21 12:42:56
阅读次数：
158
