码迷,mamicode.com
首页 > 其他好文 > 详细

机器学习:kNN的超参数

时间:2018-05-24 22:21:49      阅读:861      评论:0      收藏:0      [点我收藏+]

标签:分享图片   模块   相等   输出   for   int   distance   导入   inf   

一、评测标准

  • 模型的测评标准:分类的准确度(accuracy);
  • 预测准确度 = 预测成功的样本个数/预测数据集样本总数

 

二、超参数

  • 超参数:运行机器学习算法前需要指定的参数;
  • kNN算法中的超参数:k、weights、P;
  • 一般超参数之间也相互影响;
  • 调参,就是调超参数;

 1)问题

  # 以kNN算法为例

  1. 平票:如果k个点中,不同类型的样本数相等,怎么选取?
  2. 如果选取的k个点中,数量多的一类样本点距离测试样本较远,数量少的一类样本点距离测试样本较近,此时选取数量较多的类型作为输出结果,不具说服力;

 2)kNN算法中,除了K值外的另一个超参数:1/距离,距离的权重

  1. scikit-learn库中的KNeighborsClassifier类中,还有一个weights()函数;
  2. 在__init__()中默认两个参数值:__init__(n_neighbors = 5, weights = ‘uniform‘);
  3. weights = ‘uniform‘,表示不考虑距离权重这个超参数;
  4. weights= ‘distance‘,表示考虑距离权重这个超参数;

 3)kNN算法的第三个超参数:P,距离参数

  • 只有当kNN算法考虑距离权重超参数(weights)时,才会考虑是否输入距离参数(P);

 4)调参的方法

  • 调参目的,找到最优的超参数;
  • 机器学习算法应用在不同的领域中,不同领域内有其特有的知识
  1、通过领域知识得到

   # 不同领域内,遇到不同的问题,产参数一般不同;

   # 领域:如自然语言处理、视觉搜索等;

  2、经验数值

   # 一般机器学习算法库中,会封装一些默认的超参数,这些默认的超参数一般都是经验数值;

   # kNN算法这scikit-learn库中,k值默认为5,5就是在经验上比较好的数值;

  3、通过试验搜索得到
  • 思路:将不同的超参数输入模型,选取准确度最高的超参数;
  • 试验搜索也称为网格搜索:对不同的超参数,使用对个for语句,逐层搜索;
  • 试验搜索过程:以kNN算法为例;
    # 在Jupyter NoteBook中实现的代码
    
    import numpy as np
    from sklearn import datasets
    
    digits = datasets.load_digits()
    X = digits.data
    y = digits.target
    
    from ALG.train_test_split import train_test_split
    
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_train = 0.2)
    
    # 1)按经验选定超参数k = 5
    from sklearn.neighbors import KNeighborsClassifier
    
    knn_clf = KNeighborsClassifier(n_neighbors = 5)
    knn_clf.fit(X_train, y_train)
    knn_clf.score(X_test, y_test)
    
    # 2)按试验搜索,获取最优的超参数K,不考虑weights
    best_score = 0.0
    best_k = -1
    for k in range(1, 11):
        knn_clf = KNeighborsClassifier(n_neighbors = k)
        knn_clf.fit(X_train, y_train)
        knn_score = knn_clf.score(X_test, y_test)
        if knn_score > best_score:
            best_score = knn_score
            best_k = k
    
    print("best_k = ", best_k)
    print("best_score = ", best_score)
    
    # 3)按试验搜索,获取最优的超参数k、weight
    best_method = ""
    best_score = 0.0
    best_k = -1
    for method in ["uniform", "distance"]:
        for k in range(1, 11):
            knn_clf = KNeighborsClassifier(n_neighbors = k)
            knn_clf.fit(X_train, y_train)
            knn_score = knn_clf.score(X_test, y_test)
            if knn_score > best_score:
                best_score = knn_score
                best_k = k
                best_method = method
    
    print("best_mrthod = ", best_method)
    print("best_k = ", best_k)
    print("best_score = ", best_score)
    
    # 4)试验搜索,获取最优产参数k、P(weights必须为distance)
    %%time
    
    best_p = -1
    best_score = 0.0
    best_k = -1
    for k in range(1, 11):
        for p in range(1, 6):
            knn_clf = KNeighborsClassifier(n_neighbors = k, weights = "distance", p = p)
            knn_clf.fit(X_train, y_train)
            knn_score = knn_clf.score(X_test, y_test)
            if knn_score > best_score:
                best_score = knn_score
                best_k = k
                best_p = p
    
    print("best_p = ", best_p)
    print("best_k = ", best_k)
    print("best_score = ", best_score) 

 5)其它

  1. ** 一般不同的超参数决定了不同的分类的准确率,它们之间呈连续变化;如果最终找到的最优的超参数为范围的边界值,意味着可能有更优的取值在边界的外面,所以要拓展搜索范围重新查询最优的超参数;
  2. 以上代码包含了调用scikit-learn库内的算法:导入模块、实例化、fit、调参(选取最优超参数)、预测

 

三、模型参数

 # 模型参数:算法过程中学习的参数;

 # kNN算法中没有模型参数,因为它没有模型;

 # 线性回归算法和逻辑回归算法,包含有大量的模型参数;

 # 什么是模型选择?

 

四、什么是距离

  • 欧拉距离:math.sqrt(np.sum((X1 - X2) ** 2)),向量X1与向量X2的欧拉距离;
  • 曼哈顿距离:np.sum(|X1 - X2|),向量X1与向量X2的曼哈顿距离;
  • 明科夫斯基距离:由欧拉距离和曼哈顿距离推到出;
  • 下图从上至下:曼哈顿距离、欧拉距离、明科夫斯基距离;
  • 下图中,当P = 1,明科夫斯基距离 == 曼哈顿距离;当P = 2,明科夫斯基距离 == 欧拉距离;当P >= 3,对应的明科夫斯基距离为其它距离;

技术分享图片

 

机器学习:kNN的超参数

标签:分享图片   模块   相等   输出   for   int   distance   导入   inf   

原文地址:https://www.cnblogs.com/volcao/p/9085363.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!