梯度下降算法原理讲解——机器学习 1. 概述 梯度下降（gradient descent）在机器学习中应用十分的广泛，不论是在线性回归还是Logistic回归中，它的主要目的是通过迭代找到目标函数的最小值，或者收敛到最小值。 本文将从一个下山的场景开始，先提出梯度下降算法的基本思想，进而从数学上解释 ...
分类：
编程语言 时间：
2020-01-10 14:12:51
阅读次数：
99
模型类型 参数模型 统计学中，参数模型通常假设总体服从某一个分布，该分布由一些参数确定(正太分布由均值和方差确定)，在此基础上构造的模型称为参数模型 包括 逻辑回归 线性成分分析 感知机 优点 间洁：理论容易理解和解释结果 快速：参数模型学习和训练的速度都很快 数据更少：通常不需要大量的数据，在对数 ...
分类：
其他好文 时间：
2020-01-07 13:13:50
阅读次数：
113
逻辑回归(Logistic Regression) 在这节课中，我们会重温逻辑回归学习算法，该算法适用于二分类问题，本节将主要介绍逻辑回归的Hypothesis Function（假设函数）。 对于二元分类问题来讲，给定一个输入特征向量X，它可能对应一张图片，你想识别这张图片识别看它是否是一只猫或者 ...
分类：
其他好文 时间：
2019-12-26 17:53:12
阅读次数：
85
本篇随笔是数据科学家学习第六周的内容，主要参考资料为： 1.出场率No.1的逻辑回归算法，是怎样“炼成”的？ https://mp.weixin.qq.com/s/xfteESh2bs1PTuO2q39tbQ 2.逻辑回归 https://developers.google.cn/machine-l ...
分类：
其他好文 时间：
2019-12-14 13:58:34
阅读次数：
114
函数原型 $$h_\theta(X)=\frac{1}{1+e^{ \theta^TX}}...称h_\theta(X)为y=1的概率。$$ 决策界限的定义 $根据函数表达式可知当z =0时y =0.5当z<0时y<0.5...z=\theta^TX,y=h_\theta(X)$ $故直线z=\th ...
分类：
编程语言 时间：
2019-12-10 22:25:37
阅读次数：
114
1. Sigmod 函数 1.1 函数性质以及优点 其实logistic函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线（S型曲线）。 其中z是一个线性组合，比如z可以等于：b + w1*x1 + w2*x2。通过代入很大的正数或很小的负数到g(z)函数中可知，其结果趋 ...
分类：
其他好文 时间：
2019-12-09 13:51:04
阅读次数：
564
1, 神经元（Neuron） y = f( w1*x1 + w2*x2 + ... + b) f is activation function Sigmoid function (两端饱和的函数) logistic function $\sigma(x) = \frac{1}{1+exp(-x)}$ ...
分类：
Web程序 时间：
2019-12-05 13:04:09
阅读次数：
101
1.引自https://www.cnblogs.com/bnuvincent/p/9695666.html 2. 基本原理 Logistic Regression和Linear Regression的原理是相似的，按照我自己的理解，可以简单的描述为这样的过程： （1）找一个合适的预测函数（Andre ...
分类：
编程语言 时间：
2019-11-29 17:05:38
阅读次数：
144
logistic学习 标签（空格分隔）： logistic sigmod函数 逻辑回归 分类 前言： 整体逻辑回归比线性回归难理解点，其还需要《概率论与数理统计》中“二项分布”知识点的理解。 二项分布的公式：$P(X=k)=\left\lgroup\b ...
分类：
其他好文 时间：
2019-11-17 23:49:28
阅读次数：
105
背景 假设现在有个商品点击预测的任务，有用户端特征性别、年龄、消费力等，商品侧特征价格、销量等，样本为0或者1，现在对特征进行one hot encode，如性别特征用二维表示，男为[1,0]，女为[0,1]，其他特征相同处理后拼接起来一共有n维，n是所有特征的类别数之和。 Logistic Reg ...
分类：
编程语言 时间：
2019-11-13 13:25:08
阅读次数：
98
