数据预处理：分类变量实体嵌入做特征提取

  1   2   3 import math
  4 import random as rn
  5 import numpy as np
  6 from keras.models import Model
  7 from keras.layers import Input, Dense, Concatenate, Reshape, Dropout
  8 from keras.layers.embeddings import Embedding
  9  10 
 11 #传入分类变量数据（没有one-hot）和连续变量数据，返回一个model对象（它根据数据的组成定义好了网络框架类，这个类之后可以调用，喂入数据训练）
 12 def build_embedding_network(category_data, continus_data):
 13     
 14     #获取分类变量的名称
 15     cat_cols = [x for x in category_data.columns]
 16     
 17     #以字典形式存储分类变量的{名称：维度}
 18     category_origin_dimension = [math.ceil(category_data[cat_col].drop_duplicates().size) for cat_col in cat_cols]
 19     
 20     #以字典形式存储分类变量 计划 在embed后的{名称：维度}
 21     category_embedding_dimension = [math.ceil(math.sqrt(category_data[cat_col].drop_duplicates().size)) for cat_col in cat_cols]
 22 
 23     # 以网络结构embeddding层在前，dense层(全连接)在后；2.训练集的X必须以分类特征在前，连续特征在后。
 24     inputs = []
 25     embeddings = [] #嵌入层用list组织数据
 26     
 27     #对于每一个分类变量，执行以下操作
 28     for cat_val, cat_origin_dim, cat_embed_dim in list(zip(cat_cols, category_origin_dimension, category_embedding_dimension)) :
 29         
 30         # 实例化输入数据的张量对象
 31         input_cate_feature = Input(shape=(1,)) #batch_size, 空（维度）
 32         
 33         #实例化embed层的节点：定义输入的维度（某个分类变量的onehot维度），输出的维度（其embed后的维度），同时传入input数据对象
 34         embedding = Embedding(input_dim = cat_origin_dim, 
 35                               output_dim = cat_embed_dim, 
 36                               input_length=1)(input_cate_feature)
 37         
 38         # 将embed层输出的形状调整
 39         embedding = Reshape(target_shape=(cat_embed_dim,))(embedding)
 40         
 41         #每遍历一个分类变量就将输入数据添加在inputs对象中
 42         inputs.append(input_cate_feature)
 43         
 44         #每遍历一个分类变量就扩展一个embedding层的节点
 45         embeddings.append(embedding)
 46         
 47     #dda于连续特征执行以下操作：
 48     
 49     #获取连续特征的变量个数
 50     cnt_val_num = continus_data.shape[1]
 51     #连续特征原封原样迭代地加入与分类变量embedding后的输出组合在一起（没有embedding操作）
 52     for cnt_val_num in range(cnt_val_num) :
 53         input_numeric_features = Input(shape=(1,))
 54     
 55         #输入的连续型数据不经过任何一种激活函数处理直接 与embed + reshape后的分类变量进行组合
 56         embedding_numeric_features = Dense(units = 16)(input_numeric_features) 
 57         inputs.append(input_numeric_features)
 58         embeddings.append(embedding_numeric_features)       
 59         
 60     #把有不同输入的embedding 层的数据链接在一起
 61     x = Concatenate()(embeddings) #这种写法表明concatenate返回的是一个函数，第二个括号是传入这个返回的函数的参数
 62    
 63     x = Dense(units = 16, activation=‘relu‘)(x)
 64     
 65     #丢弃15%的节点
 66     x = Dropout( 0.15 )(x)
 67     
 68     #输出层包含一个节点，激活函数是relu
 69     output = Dense(1, activation=‘relu‘)(x)
 70     model = Model(inputs, output)
 71     model.compile(loss=‘mean_squared_error‘, optimizer=‘adam‘)
 72 
 73     return model
 74 
 75 
 76 # 训练
 77 NN = build_embedding_network(category_features_in_trainset, continus_features_in_trainset )
 78 NN.fit(X, y_train, epochs=3, batch_size=40, verbose=0)
 79 
 80 #读取embedding层数据
 81 cate_feature_num = category_features_in_trainset.columns.size
 82 
 83 model = NN  # 创建原始模型
 84 for i in range(cate_feature_num):
 85     # 如果把类别特征放前，连续特征放后，cate_feature_num+i就是所有embedding层
 86     layer_name = NN.get_config()[‘layers‘][cate_feature_num+i][‘name‘]
 87  
 88     intermediate_layer_model = Model(inputs=NN.input,
 89                                      outputs=model.get_layer(layer_name).output)
 90     
 91     # numpy.array
 92     intermediate_output = intermediate_layer_model.predict(X)
 93 
 94 intermediate_output.resize([train_data.shape[0],cate_embedding_dimension[i][1]])
 95     
 96     if i == 0: #将第一个输出赋值给X_embedding_trans，后续叠加在该对象后面
 97         X_embedding_trans = intermediate_output
 98     else:
 99         X_embedding_trans = np.hstack((X_embedding_trans,intermediate_output)) #水平拼接
100 
101 
102 #显示分类变量向量化后的数据
103 X_embedding_trans