标签：ima 结果 机器学习 就是 不容易 设置 array ble dom
做机器学习的时候经常用到XGB,简单记录一下
K折交叉验证也是模型常用的优化方法。一起记录。。。
K折交叉验证：类似三个臭皮匠，顶个诸葛亮。我的理解是，就是用民主投票的方式，选取票数最高的那个当结果。K折就是分成K份数据来进行。K= 5就是5折交叉验证，K= 7就是7折交叉验证，K=10就是10折。。。
先把每个模型训练出来，才能进行选票。至于怎么投票，就看你像想怎么设置了，我这是投的准确率。
acc = [] # 记录每个模型的准确率
models = [] # 记录每个模型
随机抽取200条数据出来当测试集
random_index =set()
while(len(random_index )<200):
random_index .add(random.randint(0,len(x_train_weight)-1))
random_index = list(random_index)
random_index.sort(reverse=True)
my_test = [x_train_weight[i] for i in random_index]
my_labels = list([labels["labels"][i] for i in random_index])
for i in random_index:
x_train_weight = np.delete(x_train_weight, i, 0)
labels = labels.drop(index=i)
# 开始训练
le = len(x_train_weight)//10
for i in range(10):
print("-"*5+"第"+str(i+1)+"个模型"+"-"*5)
left = i*le
right = (i+1)*le
Kx_train = np.concatenate((x_train_weight[:left],x_train_weight[right:]),axis=0)
Kx_label = np.concatenate((labels["labels"][:left],labels["labels"][right:]),axis=0)
Ky_train = x_train_weight[left:right]
Ky_label = labels["labels"][left:right]
dtrain = xgb.DMatrix(Kx_train, label=Kx_label)
dval = xgb.DMatrix(Ky_train, label=Ky_label)
params = {
‘booster‘: ‘gbtree‘,
‘objective‘: ‘multi:softmax‘, # 多分类的问题
‘num_class‘: 16, # 类别数，与 multisoftmax 并用
# ‘gamma‘: 0.1, # 用于控制是否后剪枝的参数,越大越保守，一般0.1、0.2这样子。
‘max_depth‘: 6, # 构建树的深度，越大越容易过拟合
# ‘lambda‘: 2, # 控制模型复杂度的权重值的L2正则化项参数，参数越大，模型越不容易过拟合。
# ‘subsample‘: 0.7, # 随机采样训练样本
# ‘colsample_bytree‘: 0.7, # 生成树时进行的列采样
# ‘min_child_weight‘: 1,
# 这个参数默认是 1，是每个a叶子里面 h 的和至少是多少，对正负样本不均衡时的 0-1 分类而言
# ，假设 h 在 0.01 附近，min_child_weight 为 1 意味着叶子节点中最少需要包含 100 个样本。
# 这个参数非常影响结果，控制叶子节点中二阶导的和的最小值，该参数值越小，越容易 overfitting。
‘silent‘: 0, # 设置成1则没有运行信息输出，最好是设置为0.
‘eta‘: 0.3, # 如同学习率
‘seed‘: 666, # 随机数种子，如果固定，则每次产生相同训练结果
# ‘nthread‘: 4, # cpu 线程数
‘class_weight‘: ‘balanced‘,
‘n_estimators‘: 100,
‘eval_metric‘: ‘merror‘
}
num_rounds = 40 # 迭代次数
watchlist = [(dtrain, ‘train‘), (dval, ‘val‘)]
# 训练模型并保存
# early_stopping_rounds 当设置的迭代次数较大时，early_stopping_rounds 可在一定的迭代次数内准确率没有提升就停止训练
model = xgb.train(params, dtrain, num_rounds, watchlist, early_stopping_rounds=50)
# 模型预测
y_predict = model.predict(dval)
models.append(model)
acc.append(metrics.accuracy_score(Ky_label, y_predict))
print("acc:", acc)
pred = []
for i in range(10):
pred.append(models[i].predict(xgb.DMatrix(np.array(my_test))))
print("pred: ", pred)
my_jieguo = []
for i in range(len(my_labels)):
t = [0 for _ in range(len(categories))] # 记录票数
tg = [int(pred[j][i]) for j in range(10)] # 获取10个模型的预测结果
# 统计票数
for i in range(10):
t[tg[i]] += acc[i]
my_jieguo.append(t.index(max(t))) # 选出最高，加入结果
print("实际：", my_labels)
print("预测：", my_jieguo)
Ts = 0 # 预测正确的数量
error = [] # 预测储物的数据
for i in range(len(my_labels)):
if my_labels[i] == my_jieguo[i]:
Ts += 1
# else:
# error.append(features[random_index[i]])
print("准确率：%f" % (Ts/len(my_labels)))
with open("error.txt", "a", encoding="utf-8") as f:
for i in error:
f.write(i+"\n")
for i in range(10):
models[i].save_model(‘xgb_model/xgb%d.model‘ % i) # 用于存储训练出的模型
二分类
也基本上是查不多的，前面都一样
这里二分类的结果输出不是0，1，而是小数，我以0.5为分割，小于为0，大于为1（1表示是，反之0表示否）
params = {
‘booster‘: ‘dart‘,
‘objective‘: ‘binary:logistic‘,
‘max_depth‘: 6, # 构建树的深度，越大越容易过拟合
‘eta‘: 0.06, # 学习率
‘n_estimators‘: 100,
‘class_weight‘: ‘balanced‘,
‘seed‘: 1001, # 随机数种子，如果固定，则每次产生相同训练结果
}
num_rounds = 20 # 迭代次数
watchlist = [(dtrain, ‘train‘),(dval, ‘val‘)]
#训练模型并保存
# early_stopping_rounds 当设置的迭代次数较大时，early_stopping_rounds 可在一定的迭代次数内准确率没有提升就停止训练
model = xgb.train(params, dtrain, num_rounds, watchlist)
# model.save_model(‘/xgb.model‘) # 用于存储训练出的模型
# 模型预测
y_predict = model.predict(dval) # 模型预测
predictions = [round(value) for value in y_predict]
accuracy = accuracy_score(Ky_lable, predictions)
acc.append(accuracy)
models.append(model)XGBoost文本分类，多分类、二分类、10-Fold（K-Fold）
标签：ima 结果 机器学习 就是 不容易 设置 array ble dom
原文地址：https://www.cnblogs.com/ztabk/p/13337222.html
