百度PaddlePaddle入门-4

 1 def load_data():
 2     # 从文件导入数据
 3     datafile = ‘./work/housing.data‘
 4     data = np.fromfile(datafile, sep=‘ ‘)
 5 
 6     # 每条数据包括14项，其中前面13项是影响因素，第14项是相应的房屋价格中位数
 7     feature_names = [ ‘CRIM‘, ‘ZN‘, ‘INDUS‘, ‘CHAS‘, ‘NOX‘, ‘RM‘, ‘AGE‘,  8                       ‘DIS‘, ‘RAD‘, ‘TAX‘, ‘PTRATIO‘, ‘B‘, ‘LSTAT‘, ‘MEDV‘ ]
 9     feature_num = len(feature_names)
10 
11     # 将原始数据进行Reshape，变成[N, 14]这样的形状
12     data = data.reshape([data.shape[0] // feature_num, feature_num])
13 
14     # 将原数据集拆分成训练集和测试集
15     # 这里使用80%的数据做训练，20%的数据做测试
16     # 测试集和训练集必须是没有交集的
17     ratio = 0.8
18     offset = int(data.shape[0] * ratio)
19     training_data = data[:offset]
20 
21     # 计算train数据集的最大值，最小值，平均值
22     maximums, minimums, avgs = training_data.max(axis=0), training_data.min(axis=0), 23                                  training_data.sum(axis=0) / training_data.shape[0]
24     
25     # 记录数据的归一化参数，在预测时对数据做归一化
26     global max_values
27     global min_values
28     global avg_values
29     max_values = maximums
30     min_values = minimums
31     avg_values = avgs
32 
33     # 对数据进行归一化处理
34     for i in range(feature_num):
35         #print(maximums[i], minimums[i], avgs[i])
36         data[:, i] = (data[:, i] - avgs[i]) / (maximums[i] - minimums[i])
37 
38     # 训练集和测试集的划分比例
39     #ratio = 0.8
40     #offset = int(data.shape[0] * ratio)
41     training_data = data[:offset]
42     test_data = data[offset:]
43     return training_data, test_data

 1 # 定义飞桨动态图的工作环境
 2 with fluid.dygraph.guard():
 3     # 声明定义好的线性回归模型
 4     model = Regressor("Regressor")
 5     # 开启模型训练模式
 6     model.train()
 7     # 加载数据
 8     training_data, test_data = load_data()
 9     # 定义优化算法，这里使用随机梯度下降-SGD
10     # 学习率设置为0.01
11     opt = fluid.optimizer.SGD(learning_rate=0.01)

 1 with dygraph.guard():
 2     EPOCH_NUM = 10   # 设置外层循环次数
 3     BATCH_SIZE = 10  # 设置batch大小
 4     
 5     # 定义外层循环
 6     for epoch_id in range(EPOCH_NUM):
 7         # 在每轮迭代开始之前，将训练数据的顺序随机的打乱
 8         np.random.shuffle(training_data)
 9         # 将训练数据进行拆分，每个batch包含10条数据
10         mini_batches = [training_data[k:k+BATCH_SIZE] for k in range(0, len(training_data), BATCH_SIZE)]
11         # 定义内层循环
12         for iter_id, mini_batch in enumerate(mini_batches):
13             x = np.array(mini_batch[:, :-1]).astype(‘float32‘) # 获得当前批次训练数据
14             y = np.array(mini_batch[:, -1:]).astype(‘float32‘) # 获得当前批次训练标签（真实房价）
15             # 将numpy数据转为飞桨动态图variable形式
16             house_features = dygraph.to_variable(x)
17             prices = dygraph.to_variable(y)
18             
19             # 前向计算
20             predicts = model(house_features)
21             
22             # 计算损失
23             loss = fluid.layers.square_error_cost(predicts, label=prices)
24             avg_loss = fluid.layers.mean(fluid.layers.sqrt(loss))
25             if iter_id%20==0:
26                 print("epoch: {}, iter: {}, loss is: {}".format(epoch_id, iter_id, avg_loss.numpy()))
27             
28             # 反向传播
29             avg_loss.backward()
30             # 最小化loss,更新参数
31             opt.minimize(avg_loss)
32             # 清除梯度
33             model.clear_gradients()
34     # 保存模型
35     fluid.save_dygraph(model.state_dict(), ‘LR_model‘)

1 # 定义飞桨动态图工作环境
2 with fluid.dygraph.guard():
3     # 保存模型参数，文件名为LR_model
4     fluid.save_dygraph(model.state_dict(), ‘LR_model‘)
5     print("模型保存成功，模型参数保存在LR_model中")