算法的简要概述 在机器学习问题中，高维度数据进行回归和分类是一个很困难的问题。例如在许多Microarray生物数据上，数据的维度通常是千和万级别，但是由于收集数据需要昂贵的实验，因此可用的训练数据却相当少，通常只有50 300左右，这样的现象通常称为“small samples, large pr ...
分类：
其他好文 时间：
2020-02-29 14:54:03
阅读次数：
115
论文地址channel pruning是指给定一个CNN模型，去掉卷积层的某几个输入channel以及相应的卷积核，并最小化裁剪channel后与原始输出的误差。可以分两步来解决： channel selection利用LASSO回归裁剪掉多余的channel，求出每个channel的权重，如果为0... ...
分类：
其他好文 时间：
2020-02-25 12:51:56
阅读次数：
86
恢复算法 1、L1 minimization 这是一个凸优化问题，类似于统计学中的LASSO。 优化算法有： 特点： L1最小化的其他形式： 2、Matching Pursuit MP算法(匹配追踪算法) 算法描述： 作为对信号进行稀疏分解的方法之一，将信号在完备字典库上进行分解。假定被表示的信号为 ...
分类：
其他好文 时间：
2020-02-19 13:06:15
阅读次数：
114
超参数 定义 在拟合模型之前需要定义好的参数 适用 Linear regression: Choosing parameters Ridge/lasso regression: Choosing alpha k Nearest Neighbors: Choosing n_neighbors Para ...
分类：
其他好文 时间：
2020-02-14 13:12:52
阅读次数：
92
第一阶段 机器学习基础与凸优化 【核心知识点】 - KNN，Weighted KNN、近似KNN - KD树，近似KD树、哈希算法、LSH - 岭回归、LASSO、ElasticNet - 正则：L1, L2, L-inifity Norm - LR、GD、SGD、小批量SGD - 凸集，凸函数、判 ...
分类：
其他好文 时间：
2019-11-12 16:14:59
阅读次数：
168
机器学习 正则化（岭回归、lasso）和前向逐步回归 本文代码均来自于《机器学习实战》 这三种要处理的是同样的问题，也就是数据的特征数量大于样本数量的情况。这个时候会出现矩阵不可逆的情况，为什么呢？ 矩阵可逆的条件是：1. 方阵 2. 满秩 X.t\ X必然是方阵（nxmxmxn=nxn,最终行列数 ...
分类：
其他好文 时间：
2019-10-19 14:43:12
阅读次数：
101
前面的文章对线性回归做了一个小结，文章在这：?线性回归原理小结。里面对线程回归的正则化也做了一个初步的介绍。提到了线程回归的L2正则化 Ridge回归，以及线程回归的L1正则化 Lasso回归。但是对于Lasso回归的解法没有提及，本文是对该文的补充和扩展。以下都用矩阵法表示，如果对于矩阵分析不熟悉 ...
分类：
编程语言 时间：
2019-07-19 18:37:32
阅读次数：
99
超高维度分析，N*P的矩阵，N为样本个数，P为指标，N<<P PCA:抓住对y对重要的影响因素 主要有三种：PCA,因子分析，回归方程+惩罚函数（如LASSO） 为了降维，用更少的变量解决问题，如果是二维的，那么就是找到一条线，要使这些点再线上的投影最大，投影最大，就是越分散，就考虑方差最大。 ...
分类：
编程语言 时间：
2019-07-11 12:44:28
阅读次数：
144
from sklearn.linear_model import LinearRegression,Lasso,Ridge from sklearn.datasets import load_boston import matplotlib.pyplot as plt boston=load_bos... ...
分类：
其他好文 时间：
2019-07-11 11:13:07
阅读次数：
138
Regression Shrinkage and Selection via the lasso 众所周知，Robert Tibshirani是统计领域的大佬，这篇文章在1996年提出了LASSO，之后风靡整个高维领域，并延伸出许多种模型。这篇文章截止2019.5.16已经获得了27991的引用量（ ...
分类：
其他好文 时间：
2019-05-16 12:34:14
阅读次数：
133
