一、Tensor概念 张量：多维数组，标量、向量、矩阵的高维拓展 Tensor与Variable data：被包装的Tensor grad：data的梯度 grad_fn：创建Tensor的Function，自动求导的关键 requires_grad:指示是否需要梯度 is_leaf：指示是否是叶子 ...
分类：
其他好文 时间：
2019-10-12 19:05:45
阅读次数：
97
更新参数的时间和训练的方法有关，更确切的说，是我们为了设置什么时候更新参数，才使用哪种方法进行训练 1、如果一次性训练全部样本才更新参数，就将所有样本都丢进去（相当于只有一个batch），Gradient Descent梯度下降法进行计算 2、如果每计算一个样本，就更新一次参数，我们使用 Stoch ...
分类：
其他好文 时间：
2019-10-10 15:51:11
阅读次数：
242
mean shift 的MATLAB程序 凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 1. mean shift 简介 mean shift, 写的更符合国人的习惯，应该是mean of shift，也就是平均偏移量，或者偏移均值向量。在明确了含义之后， ...
分类：
其他好文 时间：
2019-10-10 11:18:56
阅读次数：
69
感知机(Perceptron)是一种二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别，取+1和-1值。感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型，感知机学习旨在求出将训练数据进行线性划分的分离超平面，基于五分类的损失函数，利用梯度下降法对损失函数进行极小化，求得... ...
分类：
其他好文 时间：
2019-10-09 14:05:35
阅读次数：
137
主成分分析（Principal Component Analysis） 1. 一个非监督的机器学习算法 2. 主要用于数据的降维 3. 通过降维，可以发现更便于人类理解的特征 4. 其他应用：可视化、去噪 通过映射，我们可以把数据从二维降到一维： 显然，右边的要好一点，因为间距大，更容易看出差距。 ...
分类：
其他好文 时间：
2019-10-06 00:13:33
阅读次数：
101
全连接神经网络：也叫多层感知器模型 BP不是神经网络，是训练神经网络的一种方法。 人脑大约800亿个神经元组成，这些神经元由突触与其他神经元相互连接，交换电信号和化学信号，大脑通过神经元之间的协作完成各种功能。神经元之间的连接关系是通过进化、生长发育和后天刺激形成的。 人工神经网络： 受动物神经系统 ...
分类：
其他好文 时间：
2019-10-05 18:44:57
阅读次数：
101
迭代更新数学公式推导过程 1、牛顿法 首先对于有n个变量的函数的一阶导数为： 其次对于其二阶导数为： 之后关于目标函数的包含二阶导数的泰勒展开式为： 这时将看成的函数，则根据函数的最小值性质，当偏导数等于0时出取得，从而得到，所以，根据等式的特点得到，只有两者都取0时才能使等式等于0，所以得： （最 ...
分类：
其他好文 时间：
2019-10-05 16:44:37
阅读次数：
88
【Python】机器学习之单变量线性回归 利用批量梯度下降找到合适的参数值 本题目来自吴恩达机器学习视频。 题目： 你是一个餐厅的老板，你想在其他城市开分店，所以你得到了一些数据（数据在本文最下方），数据中包括不同的城市人口数和该城市带来的利润。第一列是城市的人口数，第二列是在这个城市开店所带来的利 ...
分类：
编程语言 时间：
2019-10-04 19:21:51
阅读次数：
97
遵循统一的机器学习框架理解SVM 一、前言 1. 我的博客不是科普性质的博客，仅记录我的观点和思考过程。欢迎大家指出我思考的盲点，更希望大家能有自己的理解。 2. 本文参考了李宏毅教授讲解SVM的课程和李航大大的统计学习方法。 二、理解 统一的机器学习框架(MLA)： 1.模型(Model) 2.策 ...
分类：
其他好文 时间：
2019-10-03 16:04:44
阅读次数：
107
MART概念，即 GBDT： 决策树 cart 的回归应用（连续值，区别于分类），以及拟合负梯度(实际上就是残差)的组合 第t轮的第i个样本的损失函数的负梯度为： 选用不同的损失函数会得到不同的负梯度，GBDT求解过程中使用平方损失作为损失函数： 求解得到负梯度： 可以发现，负梯度其实就是残差，回归 ...
分类：
其他好文 时间：
2019-10-03 12:14:42
阅读次数：
97
