Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上，修改了大量bug，添加了很多功能特性。目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平台，每天承载的读写请求数达几十亿条。同时，有超过50家公司在生产环境中部署了Atlas，超过80...
分类：
其他好文 时间：
2015-03-13 14:29:36
阅读次数：
272
声明：本系列教程参考资料《Mysql性能调优与架构设计》
Why Mysql?
大家可能怀疑，数据库有好多种，为什么选择Mysql作为数据切分的案例，为什么不选择Oracle、MS SqlServer或者DB2等等。原因是大家都知道，淘宝网最开始选择LAMP的架构设计，即Linux+Apache+Mysql+PHP，最开始系统遇到的瓶颈是当时PH...
分类：
其他好文 时间：
2015-03-12 22:41:18
阅读次数：
165
背景
分布式任务调度是非常常见的一种应用场景，一般对可用性和性能要求不高的任务，采用单点即可，例如linux的crontab，spring的quarz，但是如果要求部署多个节点，达到高可用的效果，上面的方案就不适用了。
实际上任务调度的实现有两种情况，第一种是通过mq来实现，mq做好了数据切分，负载均衡的效果，本文说的是另一种情况。
要...
分类：
其他好文 时间：
2015-03-06 16:34:57
阅读次数：
323
1、用于map的输入，先将输入数据切分成相等的分片，为每一个分片创建一个map worker,这里的切片大小不是随意订的，一般是与HDFS块大小一致，默认是64MB，一个节点上存储输入数据切片的最大size就是HDFS的块大小，当设置的切片size大于HDFS块大小，会引起节点之间的传输，占用带宽。...
分类：
其他好文 时间：
2015-03-03 21:58:56
阅读次数：
138
数据库水平切分的实现原理解析－－－分库，分表，主从，集群，负载均衡器随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层....
分类：
数据库 时间：
2015-03-03 11:08:44
阅读次数：
250
第1章 引言随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库：可以降低单...
分类：
数据库 时间：
2015-01-30 17:38:05
阅读次数：
244
第1章 引言随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的 互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库，可以降低...
分类：
数据库 时间：
2015-01-30 14:41:33
阅读次数：
276
数据切片1.前言随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库，可以降...
分类：
其他好文 时间：
2015-01-06 11:16:21
阅读次数：
13470
前言 朴素贝叶斯算法最为广泛而经典的应用毫无疑问是文档分类，更具体的情形是邮件过滤系统。 本文详细地讲解一个基于朴素贝叶斯分类算法的邮件过滤系统的具体实现。 本文侧重于工程实现，至于其中很多算法的细节请参考之前的一篇文章：朴素贝叶斯分类算法原理分析与代码实现准备数据：切分文本 获取到文本文件...
分类：
编程语言 时间：
2014-12-26 18:35:50
阅读次数：
240
随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的 互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层 已经成为架构研发人员首选的方式。...
分类：
数据库 时间：
2014-12-26 13:02:34
阅读次数：
258
