一. 数据切分 关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此时就要考虑对其进行切分了，切分的目的就在于减少数据库的负担，缩短查询时间。 数据库分布式核心 ...
分类：
数据库 时间：
2018-05-15 11:12:50
阅读次数：
259
在训练深度学习模型的时候，通常将数据集切分为训练集和验证集．Keras提供了两种评估模型性能的方法： 使用自动切分的验证集 使用手动切分的验证集 一．自动切分 在Keras中，可以从数据集中切分出一部分作为验证集，并且在每次迭代(epoch)时在验证集中评估模型的性能． 具体地，调用model.fi ...
分类：
其他好文 时间：
2018-05-14 16:51:46
阅读次数：
5340
RDD是弹性分布式数据集，通常RDD很大，会被分成多个分区，保存在不同节点上。 那么分区有什么好处呢？ 分区能减少节点之间的通信开销，正确的分区能大大加快程序的执行速度。 我们看个例子 首先我们要了解一个概念，分区并不等同于分块。 分块是我们把全部数据切分成好多块来存储叫做分块。 如上图b，产生的分 ...
分类：
其他好文 时间：
2018-05-05 19:40:02
阅读次数：
196
MySQL动态扩容方案 目前可用方案 MySQL的复制： 一个Master数据库，多个Salve，然后利用MySQL的异步复制能力实现读写分离，这个方案目前应用比较广泛，这种技术对于以读为主的应用很有效。 数据切分（MySQL的Sharding策略）： 垂直切分：一种是按照不同的表（或者Schema ...
分类：
数据库 时间：
2018-05-04 15:26:20
阅读次数：
196
26 集群使用初步 HDFS的设计思路 l 设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； l 在大数据系统中作用： 为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 l 重点概念：文件切块 ...
分类：
Web程序 时间：
2017-12-20 20:23:12
阅读次数：
789
高级的 文件、文件夹、压缩包 处理模块 shutil.copyfileobj(fsrc, fdst[, length])复制文件内容（不包含元数据）从类文件对象src到类文件对dst。可选参数length指定缓冲区的大小，负数表示一次性读入。默认会把数据切分成小块拷贝，以免占用太多内存。注意：拷贝是 ...
分类：
其他好文 时间：
2017-12-11 23:04:16
阅读次数：
972
1, myscat是什么: ?一个用于MySQL读写分离和与数据切分的高可用中间件?一个模拟为MySQLServer的超级数据库代理?一个能平滑扩展支持1000亿大表的分布式数据库系统 (普通单表1kw以下)?一个可管控多种关系数据库的数据库路由器 2, mycat来自2013年阿里的Cobar的改 ...
分类：
其他好文 时间：
2017-11-11 16:50:38
阅读次数：
179
/** * @Desc : 切分list位多个固定长度的list集合（我这是业务需要，直接是1w条数据切分） * @Author : RICK * @Params: [historyList] * @Return: java.util.Map * @Date : 2017/10/26 18:30 *... ...
分类：
其他好文 时间：
2017-10-26 19:59:37
阅读次数：
177
通过PAI中的流程，学习到本实例中的流程。数据预处理——特征扩充——数据切分——类型转换——归一化——缺失值填充——模型训练——预测（可视化） 通过不同特征之间的组合产生新的特征 用户购买就是一个二分类，即：买、不买 上面的error是一个梯度——生成值与目标的差值。这个差值其实就是下图中的代价函数 ...
分类：
其他好文 时间：
2017-10-08 14:47:06
阅读次数：
163
通过PAI中的流程，学习到本实例中的流程。数据预处理——特征扩充——数据切分——类型转换——归一化——缺失值填充——模型训练——预测（可视化） 通过不同特征之间的组合产生新的特征 用户购买就是一个二分类，即：买、不买 上面的error是一个梯度——生成值与目标的差值。这个差值其实就是下图中的代价函数 ...
分类：
其他好文 时间：
2017-10-08 14:08:56
阅读次数：
145
