最近某项目用到了总结一下实现思路,算是独立自主设计的一个比较有难度的模块。这里简要介绍一下思路。 一、背景与需求 对比出不同数据库中相同表的数据差异。这里相同表指表的数据结构是一致的。比如A服务下面数据库DB_A中有表格tableA,B服务下面数据库DB_B中有表格tableB。现在有这样一个场景找 ...
分类:
其他好文 时间:
2019-08-09 01:42:13
阅读次数:
83
本文主要讲数据治理中的重要工作:数据质量管理。从数据质量管理的目标,质量问题产生的根源,讲到如何评估数据质量,如何贯彻数据质量管理流程,最后从取与舍两个角度谈谈我对质量问题的一些个人观点。
分类:
其他好文 时间:
2019-08-07 16:14:09
阅读次数:
112
一:监听服务端zookeeper节点数据改变 console结果截图: 二:集群管理 应用集群中,我们常常需要让每一个机器知道集群中(或依赖的其他某一个集群)哪些机器是活着的,并且在集群机器因为宕机,网络断链等原因能够不在人工介入的情况下迅速通知到每一个机器 思路:用三个类模拟成三个服务器,去连接z ...
分类:
其他好文 时间:
2019-08-03 12:58:00
阅读次数:
68
题目背景 大样例下发链接:http://pan.baidu.com/s/1c0LbQ2 密码:jigg 大样例下发链接:http://pan.baidu.com/s/1c0LbQ2 密码:jigg 题目描述 小 C 的兔子不是雪白的,而是五彩缤纷的。每只兔子都有一种颜色,不同的兔子可能有 相同的颜色 ...
分类:
其他好文 时间:
2019-08-02 20:19:09
阅读次数:
109
前言:相比C++,java做的一大改进是将复杂的内存管理抽离出来交给jvm去处理,让码农不再时刻盯着内存泄漏的问题,可以更专注于业务逻辑的开发。 java的GC机制是和其内存模型相关联的,而GC的核心内存区域是内存中的堆区。 java堆区按对象的存活时间被分为了年轻代(eden区+s0区+s1区)和 ...
分类:
编程语言 时间:
2019-07-23 13:09:36
阅读次数:
103
2.6字典dict。 2.6.1 字典的初识 1. 列表可以存储大量的数据类型,但是如果数据量大的话,他的查询速度比较慢。 2. 列表只能按照顺序存储,数据与数据之间关联性不强。 所以针对于上的缺点,说咱们需要引入另一种容器型的数据类型,解决上面的问题,这就需要dict字典。 数据类型可以按照多种角 ...
分类:
编程语言 时间:
2019-07-22 13:30:12
阅读次数:
115
1.1 NoSQL: not only sql 为什么有NOSql: 互联网项目:特点: 数据库高并发读写,海量数据高效率存储,可扩展 NOSQL主流: 键值对(redis),列式存储,文档类型,图形数据库 NoSql特点: 特点: 数据库高并发读写,海量数据高效率存储,可扩展 1.2 Redis简 ...
分类:
其他好文 时间:
2019-07-20 13:18:38
阅读次数:
93
一年前写过一个百万级别数据库数据生成配置xml文件的程序,程序目的是用来把数据库里面的数据生成xml文件.程序可以配置多少文件生成到一个文件中去。程序刚开始设计的时候说的是最多百万级别数据,最多50W数据生成到一个xml文件里面去,所以在做测试的时候自己也只是造了100W的数据并没有做过多数据量的测试,然后问题就来了....由于程序使用的局点数据量巨大,需要生成xml文件的客户资料接近千万级别的程
分类:
编程语言 时间:
2019-07-17 19:08:38
阅读次数:
122
缓存理流程: 前台请求,后台先从缓存中取数据,取到直接返回结果,取不到时从数据库中取,数据库取到更新缓存,并返回结果,数据库也没取到,那直接返回空结果。 1.缓存雪崩 解决方案3:如果缓存数据库是分布式部署,将热点数据均匀分布在不同搞得缓存数据库中。 解决方案4:设置热点数据永远不过期。 2.缓存穿 ...
分类:
其他好文 时间:
2019-07-16 22:42:09
阅读次数:
185
先看一个问题 将数列 {1, 3, 6, 8, 10, 14 } 构建成一颗二叉树 问题分析: 线索二叉树基本介绍 1、n个结点的二叉链表中含有n+1 【公式 2n-(n-1)=n+1】 个空指针域。利用二叉链表中的空指针域,存放指向该结点在某种遍历次序下的前驱和后继结点的指针(这种附加的指针称为" ...
分类:
编程语言 时间:
2019-07-16 00:29:37
阅读次数:
354