码迷,mamicode.com
首页 > 其他好文 > 详细

Keras Sequential顺序模型

时间:2019-01-16 10:26:23      阅读:254      评论:0      收藏:0      [点我收藏+]

标签:col   glob   迭代   二进制   ras   cat   不包含   传递   ant   

keras是基于tensorflow封装的的高级API,Keras的优点是可以快速的开发实验,它能够以TensorFlowCNTK, 或者 Theano 作为后端运行。

模型构建

最简单的模型是 Sequential 顺序模型,它由多个网络层线性堆叠。对于更复杂的结构,你应该使用 Keras 函数式 API,它允许构建任意的神经网络图。

用Keras定义网络模型有两种方式,

1、Sequential 顺序模型

from keras.models import Sequential

model = Sequential()

我们可以通过将网络层实例的列表传递给 Sequential 的构造器,来创建一个 Sequential模型,:

from keras.models import Sequential
from keras.layers import Dense, Activation

model = Sequential([
    Dense(32, input_shape=(784,)),
    Activation(relu),
    Dense(10),
    Activation(softmax),
])

也可以通过 .add()的方法将各层添加到网络中

from keras.layers import Dense
from keras.model import Sequential

model = Sequential()
model.add(Dense(units=64, activation=relu, input_dim=100))
model.add(Dense(units=10, activation=softmax))

模型需要知道它所期望的出入尺寸,所以模型中的第一层需要接收关于出入尺寸的信息

  • 传递一个 input_shape 参数给第一层。它是一个表示尺寸的元组 (一个整数或 None 的元组,其中 None 表示可能为任何正整数)。在 input_shape 中不包含数据的 batch 大小。
  • 某些 2D 层,例如 Dense,支持通过参数 input_dim 指定输入尺寸,某些 3D 时序层支持 input_dim 和 input_length 参数。
  • 如果你需要为你的输入指定一个固定的 batch 大小(这对 stateful RNNs 很有用),你可以传递一个 batch_size 参数给一个层。如果你同时将 batch_size=32 和 input_shape=(6, 8) 传递给一个层,那么每一批输入的尺寸就为 (32,6,8)
model.add(Dense(32, input_shape=(784,)))
# 这两段代码是等价的 
model.add(Dense(32, input_dim=784))

 Dense的参数

activation: 激活函数

kernel_initializer和bias_initializer: 创建层权重的初始化方案

kernel_initializer和bias_initializer: 应用层权重的正则方案,L1或L2

技术分享图片
layers.Dense(64, activation=sigmoid)
# 或者
layers.Dense(64, activation=tf.sigmoid)

# 一个线性层,系数0.01的l1正则化权重
layers.Dense(64, kernel_regularizer=tf.keras.regularizers.l1(0.01))
# 将因子0.01的L2正则化的线性层应用于偏置项
layers.Dense(64, bias_regularizer=tf.keras.regularizers.l2(0.01))
# 初始化为随机正交矩阵的线性层
layers.Dense(64, kernel_initializer=orthogonal)    
# 一个线性层,偏置项初始化为2.0s
layers.Dense(64, bias_initializer=tf.keras.initializers.constant(2.0))    
View Code

模型编译

我们需要配置模型的学习过程,这是通过 compile() 方法

参数

  • 优化器 optimizer。它可以是现有优化器的字符串标识符。详见:optimizers
  • 损失函数 loss,模型试图最小化的目标函数。它可以是现有损失函数的字符串标识符,也可以是一个目标函数。常见的选择包括均方误差(mse)、categorical_crossentropy 和 binary_crossentropy,详见:losses
  • 评估标准 metrics。对于任何分类问题,你都希望将其设置为 metrics = [‘accuracy‘]。评估标准可以是现有的标准的字符串标识符,也可以是自定义的评估标准函数。
# 多分类问题
model.compile(optimizer=rmsprop,
              loss=categorical_crossentropy,
              metrics=[accuracy])

# 二分类问题
model.compile(optimizer=rmsprop,
              loss=binary_crossentropy,
              metrics=[accuracy])

# 均方误差回归问题
model.compile(optimizer=rmsprop,
              loss=mse)

# 自定义评估标准函数
import keras.backend as K

def mean_pred(y_true, y_pred):
    return K.mean(y_pred)

model.compile(optimizer=rmsprop,
              loss=binary_crossentropy,
              metrics=[accuracy, mean_pred])

自定义评估标准方法,传了两个方法进去,那到底该用哪个呢?

模型训练

训练网络模型时,我们通常会使用 fit() 函数,keras.Model.fit()包含三个重要的参数,文档详见此处

  • epochs:训练的轮次,每一轮对整个输入数据进行一次迭代
  • batch_size:将模型数据分成n个较小的批次,注意:如果样本总数不能被批次大小整除,则最后一个批次可能更小
  • validation_data:验证数据的准确率 输入和标签的元组

训练模型:现在我们可以批量地在训练数据上迭代了:

model.fit(x_train, y_train, epochs=5, batch_size=32)

或者我们可以手动的将批次的数据提供给模型:

model.train_on_batch(x_batch, y_batch)

对于具有 2 个类的单输入模型(二进制分类):

model = Sequential()
model.add(Dense(32, activation=relu, input_dim=100))
model.add(Dense(1, activation=sigmoid))
model.compile(optimizer=rmsprop,
              loss=binary_crossentropy,
              metrics=[accuracy])

# 生成虚拟数据
import numpy as np
data = np.random.random((1000, 100))    # 0~1之间的随机数
# 生成2个类别的(1000,1)的数组
labels = np.random.randint(2, size=(1000, 1))

# 训练模型,以 32 个样本为一个 batch 进行迭代
model.fit(data, labels, epochs=10, batch_size=32)

对于具有 10 个类的单输入模型(多分类分类):

model = Sequential()
model.add(Dense(32, activation=relu, input_dim=100))
model.add(Dense(10, activation=softmax))
model.compile(optimizer=rmsprop,
              loss=categorical_crossentropy,
              metrics=[accuracy])

# 生成虚拟数据
import numpy as np
data = np.random.random((1000, 100))
labels = np.random.randint(10, size=(1000, 1))

# 将标签转换为分类的 one-hot 编码
one_hot_labels = keras.utils.to_categorical(labels, num_classes=10)

# 训练模型,以 32 个样本为一个 batch 进行迭代
model.fit(data, one_hot_labels, epochs=10, batch_size=32)

模型评估

model.evaluatemodel.predict 用来评估的函数

只需一行代码就能评估模型性能:

loss_and_metrics = model.evaluate(x_test, y_test, batch_size=128)

或者对新的数据生成预测 model.perdict

classes = model.predict(x_test, batch_size=128)
# [11.43181880315145, 0.18333333333333332]

样例

在 examples 目录 中,你可以找到真实数据集的示例模型:

  • CIFAR10 小图片分类:具有实时数据增强的卷积神经网络 (CNN)
  • IMDB 电影评论情感分类:基于词序列的 LSTM
  • Reuters 新闻主题分类:多层感知器 (MLP)
  • MNIST 手写数字分类:MLP & CNN
  • 基于 LSTM 的字符级文本生成

...以及更多。

基于多层感知器 (MLP) 的 softmax 多分类:

技术分享图片
import keras
from keras.models import Sequential
from keras.layers import Dense, Dropout, Activation
from keras.optimizers import SGD

# 生成虚拟数据
import numpy as np
x_train = np.random.random((1000, 20))
y_train = keras.utils.to_categorical(np.random.randint(10, size=(1000, 1)), num_classes=10)
x_test = np.random.random((100, 20))
y_test = keras.utils.to_categorical(np.random.randint(10, size=(100, 1)), num_classes=10)

model = Sequential()
# Dense(64) 是一个具有 64 个隐藏神经元的全连接层。
# 在第一层必须指定所期望的输入数据尺寸:
# 在这里,是一个 20 维的向量。
model.add(Dense(64, activation=relu, input_dim=20))
model.add(Dropout(0.5))
model.add(Dense(64, activation=relu))
model.add(Dropout(0.5))
model.add(Dense(10, activation=softmax))

sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss=categorical_crossentropy,
              optimizer=sgd,
              metrics=[accuracy])

model.fit(x_train, y_train,
          epochs=20,
          batch_size=128)
score = model.evaluate(x_test, y_test, batch_size=128)
View Code

基于多层感知机的二分类:

技术分享图片
import numpy as np
from keras.models import Sequential
from keras.layers import Dense, Dropout

# 生成虚拟数据
x_train = np.random.random((1000, 20))
y_train = np.random.randint(2, size=(1000, 1))
x_test = np.random.random((100, 20))
y_test = np.random.randint(2, size=(100, 1))

model = Sequential()
model.add(Dense(64, input_dim=20, activation=relu))
model.add(Dropout(0.5))
model.add(Dense(64, activation=relu))
model.add(Dropout(0.5))
model.add(Dense(1, activation=sigmoid))

model.compile(loss=binary_crossentropy,
              optimizer=rmsprop,
              metrics=[accuracy])

model.fit(x_train, y_train,
          epochs=20,
          batch_size=128)
score = model.evaluate(x_test, y_test, batch_size=128)
View Code

类似VGG的卷积神经网络:

技术分享图片
import numpy as np
import keras
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D, MaxPooling2D
from keras.optimizers import SGD

# 生成虚拟数据
x_train = np.random.random((100, 100, 100, 3))
y_train = keras.utils.to_categorical(np.random.randint(10, size=(100, 1)), num_classes=10)
x_test = np.random.random((20, 100, 100, 3))
y_test = keras.utils.to_categorical(np.random.randint(10, size=(20, 1)), num_classes=10)

model = Sequential()
# 输入: 3 通道 100x100 像素图像 -> (100, 100, 3) 张量。
# 使用 32 个大小为 3x3 的卷积滤波器。
model.add(Conv2D(32, (3, 3), activation=relu, input_shape=(100, 100, 3)))
model.add(Conv2D(32, (3, 3), activation=relu))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Conv2D(64, (3, 3), activation=relu))
model.add(Conv2D(64, (3, 3), activation=relu))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Flatten())
model.add(Dense(256, activation=relu))
model.add(Dropout(0.5))
model.add(Dense(10, activation=softmax))

sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss=categorical_crossentropy, optimizer=sgd)

model.fit(x_train, y_train, batch_size=32, epochs=10)
score = model.evaluate(x_test, y_test, batch_size=32)
View Code

基于LSTM的序列分类:

技术分享图片
from keras.models import Sequential
from keras.layers import Dense, Dropout
from keras.layers import Embedding
from keras.layers import LSTM

max_features = 1024

model = Sequential()
model.add(Embedding(max_features, output_dim=256))
model.add(LSTM(128))
model.add(Dropout(0.5))
model.add(Dense(1, activation=sigmoid))

model.compile(loss=binary_crossentropy,
              optimizer=rmsprop,
              metrics=[accuracy])

model.fit(x_train, y_train, batch_size=16, epochs=10)
score = model.evaluate(x_test, y_test, batch_size=16)
View Code

基于 1D 卷积的序列分类:

技术分享图片
from keras.models import Sequential
from keras.layers import Dense, Dropout
from keras.layers import Embedding
from keras.layers import Conv1D, GlobalAveragePooling1D, MaxPooling1D

seq_length = 64

model = Sequential()
model.add(Conv1D(64, 3, activation=relu, input_shape=(seq_length, 100)))
model.add(Conv1D(64, 3, activation=relu))
model.add(MaxPooling1D(3))
model.add(Conv1D(128, 3, activation=relu))
model.add(Conv1D(128, 3, activation=relu))
model.add(GlobalAveragePooling1D())
model.add(Dropout(0.5))
model.add(Dense(1, activation=sigmoid))

model.compile(loss=binary_crossentropy,
              optimizer=rmsprop,
              metrics=[accuracy])

model.fit(x_train, y_train, batch_size=16, epochs=10)
score = model.evaluate(x_test, y_test, batch_size=16)
View Code

基于栈式 LSTM 的序列分类:

在这个模型中,我们将 3 个 LSTM 层叠在一起,使模型能够学习更高层次的时间表示。

前两个 LSTM 返回完整的输出序列,但最后一个只返回输出序列的最后一步,从而降低了时间维度(即将输入序列转换成单个向量)。

技术分享图片

技术分享图片
from keras.models import Sequential
from keras.layers import LSTM, Dense
import numpy as np

data_dim = 16
timesteps = 8
num_classes = 10

# 期望输入数据尺寸: (batch_size, timesteps, data_dim)
model = Sequential()
model.add(LSTM(32, return_sequences=True,
               input_shape=(timesteps, data_dim)))  # 返回维度为 32 的向量序列
model.add(LSTM(32, return_sequences=True))  # 返回维度为 32 的向量序列
model.add(LSTM(32))  # 返回维度为 32 的单个向量
model.add(Dense(10, activation=softmax))

model.compile(loss=categorical_crossentropy,
              optimizer=rmsprop,
              metrics=[accuracy])

# 生成虚拟训练数据
x_train = np.random.random((1000, timesteps, data_dim))
y_train = np.random.random((1000, num_classes))

# 生成虚拟验证数据
x_val = np.random.random((100, timesteps, data_dim))
y_val = np.random.random((100, num_classes))

model.fit(x_train, y_train,
          batch_size=64, epochs=5,
          validation_data=(x_val, y_val))
View Code

"stateful" 渲染的的栈式 LSTM 模型

有状态 (stateful) 的循环神经网络模型中,在一个 batch 的样本处理完成后,其内部状态(记忆)会被记录并作为下一个 batch 的样本的初始状态。这允许处理更长的序列,同时保持计算复杂度的可控性。stateful RNNs

技术分享图片
from keras.models import Sequential
from keras.layers import LSTM, Dense
import numpy as np

data_dim = 16
timesteps = 8
num_classes = 10
batch_size = 32

# 期望输入数据尺寸: (batch_size, timesteps, data_dim)
# 请注意,我们必须提供完整的 batch_input_shape,因为网络是有状态的。
# 第 k 批数据的第 i 个样本是第 k-1 批数据的第 i 个样本的后续。
model = Sequential()
model.add(LSTM(32, return_sequences=True, stateful=True,
               batch_input_shape=(batch_size, timesteps, data_dim)))
model.add(LSTM(32, return_sequences=True, stateful=True))
model.add(LSTM(32, stateful=True))
model.add(Dense(10, activation=softmax))

model.compile(loss=categorical_crossentropy,
              optimizer=rmsprop,
              metrics=[accuracy])

# 生成虚拟训练数据
x_train = np.random.random((batch_size * 10, timesteps, data_dim))
y_train = np.random.random((batch_size * 10, num_classes))

# 生成虚拟验证数据
x_val = np.random.random((batch_size * 3, timesteps, data_dim))
y_val = np.random.random((batch_size * 3, num_classes))

model.fit(x_train, y_train,
          batch_size=batch_size, epochs=5, shuffle=False,
          validation_data=(x_val, y_val))
View Code

 

Keras Sequential顺序模型

标签:col   glob   迭代   二进制   ras   cat   不包含   传递   ant   

原文地址:https://www.cnblogs.com/LXP-Never/p/10251974.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!