通过某种特定的条件,将存放在同一个数据库中的数据分散存放到多个数据库上,实现分布存储,通过路由规则路由访问特定的数据库,这样一来每次访问面对的就不是单台服务器了,而是N台服务器,这样就可以降低单台机器的负载压力。提示:sqlserver 2005版本之后,可以友好的支持“表分区”。 垂直(纵向)拆分 ...
分类:
数据库 时间:
2018-05-31 02:36:41
阅读次数:
206
RAID简介 RAID:早期称廉价磁盘冗余阵列( Redundant Array of Inexpensive Disks),因其构建成本并不廉价,现在称为独立硬盘冗余阵列( Redundant Array of Independent Disks),即独立磁盘构成的具有冗余能力的阵列。磁盘阵列是由 ...
分类:
其他好文 时间:
2018-05-11 17:31:25
阅读次数:
173
水平分库分表的关键问题及解决思路 分片技术的由来 关系型数据库本身比较容易成为系统性能瓶颈,单机存储容量、连接数、处理能力等都很有限,数据库本身的“有状态性”导致了它并不像Web和应用服务器那么容易扩展。 单机存储容量、连接数、处理能力等都很有限,数据库本身的“有状态性”导致了它并不像Web和应用服 ...
分类:
其他好文 时间:
2018-04-23 15:40:50
阅读次数:
164
1. GridFS简介 GridFS是Mongo的一个子模块,使用GridFS可以基于MongoDB来持久存储文件。并且支持分布式应用(文件分布存储和读取)。作为MongoDB中二进制数据存储在数据库中的解决方案,通常用来处理大文件,对于MongoDB的BSON格式的数据(文档)存储有尺寸限制,最大 ...
分类:
编程语言 时间:
2018-04-15 22:59:25
阅读次数:
502
1.分布式文件系统概述 分布式文件系统是一种通过网络实现文件在多台主机上进行分布式存储的文件系统。 普通的文件系统只需要单个计算机节点就可以完成文件的存储和处理,而分布式文件系统把文件分成一定量的数据块,分布存储到多个计算机节点上,成千上万的计算机节点构成计算机集群。而目前分布式文件系统所采用的计算 ...
分类:
其他好文 时间:
2018-04-13 20:28:39
阅读次数:
499
基于 word2vec 和 CNN 的文本分类 :综述 & 实践 https://zhuanlan.zhihu.com/p/29076736 文本分类的算法 一、决策树(Decision Trees) 二、人工神经网络 准确度高 并行分布处理能力强,分布存储及学习能力强,鲁棒性好 联想记忆 神经网络 ...
分类:
其他好文 时间:
2018-04-08 22:40:25
阅读次数:
221
1、产品背景 随着学院笔记数据量的增加、学员记录笔记的欲望增加,达内开发了一套适合教学和学员使用方式的笔记产品。 2、产品简述 通过大数据分布存储解决方案解决了笔记信息量膨胀的问题,并且通过分布式搜索引擎服务及数据分析推荐平台的建立提升了用户搜索分享比较的能力,系统可以有针对性的提供用户其他人分享的 ...
分类:
其他好文 时间:
2017-12-06 18:14:09
阅读次数:
235
通过某种特定的条件,将存放在同一个数据库中的数据分散存放到多个数据库上,实现分布存储,通过路由规则路由访问特定的数据库,这样一来每次访问面对的就不是单台服务器了,而是N台服务器,这样就可以降低单台机器的负载压力。提示:sqlserver 2005版本之后,可以友好的支持“表分区”。 垂直(纵向)拆分 ...
分类:
数据库 时间:
2017-11-17 21:05:37
阅读次数:
164
简介 HDFS(Hadoop Distributed File System )hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。 HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失 ...
分类:
其他好文 时间:
2017-08-06 22:57:04
阅读次数:
150
http://xiaorenwutest.blog.51cto.comMySQL大数据优化以及分解(下篇)前言:在上一章的内容当中说过公司中的数据过大或者访问量过多都会导致数据库的性能降低,过多的损耗磁盘i/o和其他服务器的性能,严重会导致宕机。根据这种情况我们给出了解决方法,那么接下来我们继续:上..
分类:
数据库 时间:
2017-06-23 15:42:55
阅读次数:
230