TiDB在特来电的探索 一、 为什么研究TiDB 特来电大数据平台通过开源与自研相结合的方式,目前已经上线多套集群满足不同的业务需求.目前在大数据存储和计算方面主要使用了Hbase、Elasticsearch、Druid、Spark、Flink.大数据技术可谓是百花齐放,百花齐放 百家争鸣,不同的技 ...
分类:
数据库 时间:
2019-06-23 23:03:59
阅读次数:
272
1、从单机数据库说起(Mysql、Oracle、PostgreSQL) 关系型数据库起源自1970年代,其最基本的功能有两个: 把数据存下来; 满足用户对数据的计算需求。 第一点是最基本的要求,如果一个数据库没办法把数据安全完整存下来,那么后续的任何功能都没有意义。当满足第一点后,用户紧接着就会要求 ...
分类:
数据库 时间:
2019-06-10 14:12:15
阅读次数:
519
一、小米 1、背景 小米关系型存储数据库首选 MySQL,单机 2.6T 磁盘。由于小米手机销量的快速上升和 MIUI 负一屏用户量的快速增加,导致负一屏快递业务数据的数据量增长非常快, 每天的读写量级均分别达到上亿级别,数据快速增长导致单机出现瓶颈,比如性能明显下降、可用存储空间不断降低、大表 D ...
分类:
数据库 时间:
2019-06-10 13:27:47
阅读次数:
158
整理大牛分享文档如下,持续更新一线开发架构,技术文档 github链接 网易蜂巢公有容器云架构之路 新浪微博redis优化历程 微博Cache架构设计实践 Go在大数据开发中的经验总结 基于Go构建滴滴核心业务平台的实践 Go in TiDB 负载均衡利器 HAProxy功能剖析及部署案例 高可用技 ...
分类:
其他好文 时间:
2019-06-08 00:54:23
阅读次数:
107
TiDB是google F1的开源实现; TiDB实现了基于mvcc的乐观锁,在线表结构变更,基于时间戳的数据线性一致性,等等; 为了可靠性,TiDB和Oracle一样,维护了百万级别的自动化测试用例,跑在k8s搭建的集群之上; TiDB里面用到的算法,都会写测试程序验证,以证明算法的正确性; 自 ...
分类:
数据库 时间:
2019-06-01 20:01:33
阅读次数:
180
一:安装搭建(两个节点都要安装) 1 yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm 2 3 percona-release-1.0- ...
分类:
数据库 时间:
2019-05-17 18:10:51
阅读次数:
622
由于本人最近已经成为TiDB的粉丝,所以就开始各种研究TiDB的源码,研究源码这个事情,首先就需要在自己电脑上不断的调试及修改。TiDB本身的代码是非常容易编译和调试的,但是要把PD、TiKV集群同时在本机上建立起来,还是有一点难度的。好在pingcap官方提供了docker-compose搭建集群... ...
分类:
数据库 时间:
2019-04-21 09:23:58
阅读次数:
894
遇见 TiDB 文章来源:企鹅号 - 塔塔驿站 最近TiDB掀起了一波分布式数据库的热潮,公司也在着手准备TiDB的落地工作,前几天也参与了几场公司针对TiDB的分享会,下面我们了解一下关于TiDB。 TiDB 是什么? TiDB 是一个分布式 NewSQL 数据库。它支持水平弹性扩展、ACID 事 ...
分类:
数据库 时间:
2019-04-19 11:59:39
阅读次数:
300
美团点评 TiDB 深度实践之旅(9000 字长文 / 真实“踩坑”经历) 4 PingCAP · 154 天前 · 3956 次点击 这是一个创建于 154 天前的主题,其中的信息可能已经有所发展或是发生改变。 原标题:美团点评携手 PingCAP 开启新一代数据库深度实践之旅 一、背景和现状 在 ...
分类:
数据库 时间:
2019-04-19 11:39:24
阅读次数:
2226
近来newsql大热,尤以TIDB最火,pingcap不断打磨TiDB,现如今版本已经迭代到3.0,产品已经基本趋于成熟。对于TiDB,整体架构图如下图所示是由四个模块组成,TiDBServer,PDServer,TiKVServer,TiSpark。TiDBServer负责接受SQL请求,处理SQL的相关逻辑,并通过PD找到存储计算所需数据的TiKV地址,与TiKV交互获取数据,最终返回结果。T
分类:
数据库 时间:
2019-04-11 11:52:21
阅读次数:
209