分类和位置调整都是通过全连接层(fc)实现的，设前一级数据为后一级为，全连接层参数为，尺寸，一次前向传播(forward)即为： 计算复杂度为。 将进行SVD分解，并用前t个特征值近似： 原来的前向传播分解成两步： 计算复杂度变为 。 在实现时，相当于把一个全连接层拆分成两个，中间以一个低维数据相连 ...
分类：
其他好文 时间：
2019-08-25 16:12:22
阅读次数：
81
SVD也是对矩阵进行分解，但是和特征分解不同，SVD并不要求要分解的矩阵为方阵。 $A=U \sum V^{T}$ 条件：U和V是一个可酉矩阵（是正交矩阵的复数推广$U^{T}=U^{-1}$） $A^{T}A$的特征向量是V，$AA^{T}$的特征向量是U，$AA^{T}$的特征值的平方根是$\s ...
分类：
其他好文 时间：
2019-08-25 13:47:30
阅读次数：
62
奇异矩阵 若方阵A的行列式的值等于0，那么方阵A叫做奇异矩阵，否则叫做非奇异矩阵。 可逆矩阵就是非奇异矩阵，非奇异矩阵也是可逆矩阵。 QR分解 对于m*n的列满秩矩阵A，必有：，其中Q为正交矩阵，R为非奇异上三角矩阵，当要求R的对角线元素 为正的时候，该分解唯一。 SVD 奇异值分解(Singula ...
分类：
其他好文 时间：
2019-08-10 10:04:11
阅读次数：
137
加载sklearn中的人脸数据集 执行上面的第二行程序，python会从网上下载labeled_face_wild people数据集，这个数据集大概200M，因为墙的原因下载很慢失败。 使用百度云下载该数据集，是个.tgz的压缩包 链接：https://pan.baidu.com/s/1eySjV ...
分类：
其他好文 时间：
2019-07-26 17:38:50
阅读次数：
130
奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是很多机器学习算法的基石。本文就对SVD的原理做一个总结，并讨论在在PCA降维算法中是如何运用运用SV... ...
分类：
其他好文 时间：
2019-07-19 19:01:10
阅读次数：
106
之前看到过很多次奇异值分解这个概念，但我确实没有学过。大学线性代数课教的就是坨屎，我也没怎么去上课，后来查了点资料算是搞清楚了，现在写点东西总结一下。 奇异值分解，就是把一个矩阵拆成一组矩阵之和。在数学里面，因式分解，泰勒展开，傅里叶展开，特征值分解，奇异值分解都是这个路数。就是把当前数据表示成一组 ...
分类：
其他好文 时间：
2019-06-23 01:03:01
阅读次数：
132
用处 基于SVD实现模型压缩以适配低功耗平台 根据nnet3bin/nnet3-copy，nnet3-copy或nnet3-am-copy的"--edits-config"参数中，新支持了以下选项： apply-svd name= bottleneck-dim= 查找所有名字与匹配的组件，类型需要是... ...
分类：
Web程序 时间：
2019-06-21 13:08:58
阅读次数：
463
原文地址：https://www.jianshu.com/p/c1e4f42b78d7 一、基于知识的表征 参见图1.1，WordNet中包含同义词集(synonym sets)和上位词(hypernyms, is a关系)。 其存在的问题为： + 作为资源来说是好的，但是它失去了词间的细微差别； ...
分类：
Web程序 时间：
2019-05-01 20:02:36
阅读次数：
214
机器学习——降维（主成分分析PCA、线性判别分析LDA、奇异值分解SVD、局部线性嵌入LLE） 以下资料并非本人原创，因为觉得石头写的好，所以才转发备忘 (主成分分析（PCA）原理总结)[https://mp.weixin.qq.com/s/XuXK4inb9Yi 4ELCe_i0EA] 来源：?石 ...
分类：
其他好文 时间：
2019-04-13 10:51:30
阅读次数：
152
