Ⅰ 、NOSQL NoSQL(NoSQL = Not Only SQL),意即“不仅仅是SQL”,是一项全新的数据库理念,泛指非关系型的数据库。 NOSQL和关系型数据库比较: 优点: 1)成本:nosql数据库简单易部署,基本都是开源软件,不需要像使用oracle那样花费大量成本购买使用,相比关系 ...
分类:
数据库 时间:
2021-04-22 15:39:17
阅读次数:
0
构建数据流程是实践过程中核心环节。熟悉pipeline的的构建过程,有助于理解不同代码的结构,也是实现自主创建网络的第一步。 使用Pytorch实现神经网络模型的一般流程包括:1,准备数据 2,定义模型 3,训练模型 4,评估模型 5,使用模型 6,保存模型。 1- 数据加载 在Pytorch中构建 ...
分类:
其他好文 时间:
2020-08-28 12:04:03
阅读次数:
58
pytorch 基础操作,生成模型,保存模型,导入模型,自定义数据集 ...
分类:
其他好文 时间:
2020-07-10 21:02:22
阅读次数:
103
将模型保存为完整的 HDF5 文件,后面可以直接加载使用: # © cnblogs.com/farwish import tenforflow as tf model = tf.keras.models.xxxxx model.compile(xxx) model.fit(xxx) import t ...
分类:
其他好文 时间:
2020-07-03 12:28:49
阅读次数:
189
sklearn 中 模型保存有两种方式,版本不同,可查看官网,这里只做简单记录 方式一:序列化 序列化 的具体用法请自行研究 >>> from sklearn import svm >>> from sklearn import datasets >>> clf = svm.SVC() >>> X, ...
分类:
其他好文 时间:
2020-07-01 09:47:33
阅读次数:
111
keras-模型保存和载入 1.数据的载入与预处理 import numpy as np from keras.datasets import mnist from keras.utils import np_utils from keras.models import Sequential,loa ...
分类:
其他好文 时间:
2020-06-08 00:58:22
阅读次数:
88
一个成熟合格的深度学习训练过程至少具备以下功能: 在训练集上训练,并在验证集上进行验证 模型可以保存最优的权重,并读取权重 记录训练集和验证集的精度,便于调参 本节将构建验证集、模型训练和验证、模型保存与加载和模型调参等几个部分 ###构造验证集 在机器学习模型(特别是深度学习模型)的训练过程中,模 ...
分类:
其他好文 时间:
2020-05-30 21:29:19
阅读次数:
70
如下: 集群管理:监控节点存活状态,运行请求等。 主节点选举:主节点挂掉了之后可以从备用的节点开始新一轮选主,主节点选举说的就是这个选举的过程,使用 zookeeper 可以协助完成这个过程。 分布式锁:zookeeper提供两种锁:独占锁、共享锁。独占锁即一次只能占有一个线程使用资源,共享锁是读写 ...
分类:
其他好文 时间:
2020-03-26 19:10:31
阅读次数:
60
保存模型总体来说有两种: 第一种:保存训练的模型,之后我们可以继续训练 (1)保存模型 state = { 'model': model.state_dict(), 'optimizer':optimizer.state_dict(), 'epoch': epoch } torch.save(sta ...
分类:
其他好文 时间:
2020-03-09 21:11:08
阅读次数:
200