1.本次课程大纲
局部加权回归： 线性回归的变化版本
Probability interpretation：另一种可能的对于线性回归的解释
Logistic回归： 基于2的一个分类算法
感知器算法： 对于3的延伸，简要讲
牛顿方法（用来对logistic进行拟合的算法，这节课没讲）
2.过拟合与欠拟合的距离评估房子的价格，假设三种拟合算法：
（1）X1=size, 拟合出一条线性曲线；
（2）x...
分类：
其他好文 时间：
2015-05-29 23:16:50
阅读次数：
333
数据量小，选用 high bias/low variance模型（Naive Bayes），因为low bias/high variance模型（KNN，logistic regression）会overfitNaive Bayes：简单，只需要计数就可以；数据量小时，也适用；如果各因素独立（比如词...
分类：
其他好文 时间：
2015-05-29 13:52:16
阅读次数：
196
problem 1: $\min_{\beta} ~f_\alpha(\beta):=\frac{1}{2}\Vert y-X\beta\Vert^2 +\alpha\Vert \beta\Vert$problem 2: $\min_{\beta} ~\frac{1}{2}\Vert y-X\b.....
分类：
其他好文 时间：
2015-05-29 06:12:52
阅读次数：
154
学习Logistic Regression的笔记与理解1.首先从结果往前来看下how logistic regression make predictions。设我们某个测试数据为X（x0，x1，x2···xn），Θ（θ0，θ1，θ2，···θn）为我们的学习算法所学到的参数，那么写成向量的话就变成...
分类：
其他好文 时间：
2015-05-28 21:13:02
阅读次数：
157
PART0 判别学习算法引入：二元分类问题建模：判别学习算法（discriminative learning algorithm）直接根据P(y|x)【即给定特征x下的分类结果y】建模之前我们用的算法（如logistic回归）就是判别学习算法PART1 生成学习算法PART1.1 Definitio...
分类：
编程语言 时间：
2015-05-28 07:04:32
阅读次数：
736
【转】junit浅学笔记一 JUnit是一个回归测试框架（regression testing framework）。Junit测试是程序员测试，即所谓白盒测试，因为程序员知道被测试的软件如何（How）完成功能和完成什么样（What）的功能。Junit是一套框架，继承TestCase类，就可以用Ju...
分类：
系统相关 时间：
2015-05-27 20:40:28
阅读次数：
201
3.多变量线性回归 （Linear Regression with multiple variable）
3.1 多维特征(Multiple Features)
3.2 多变量梯度下降(Gradient descent for multiple variables)
3.3 特征缩放(feature scaling)
3.4 学习率(Learning rate)...
分类：
其他好文 时间：
2015-05-27 14:00:37
阅读次数：
173
本练习以为基础, 重现书中代码, 以达到熟悉算法应用为目的1.梯度上升算法新建一个logRegres.py文件, 在文件中添加如下代码:from numpy import *#加载模块 numpydef loadDataSet(): dataMat = []; labelMat = [] ...
分类：
其他好文 时间：
2015-05-25 23:43:45
阅读次数：
289
单变量线性回归(Linear Regression with One Variable)2.1 模型表达(Model Representation)
m 代表训练集中实例的数量
x 代表特征/输入变量
y 代表目标变量/输出变量
(x,y) 代表训练集中的实例
(x(i),y(i) ) 代表第 i 个观察实例
h 代表学习算法的解决方案或函数也称为假设(hypothesis) 单变量线性回归：只含...
分类：
其他好文 时间：
2015-05-25 11:31:53
阅读次数：
218
SVM1.概述SVM全称Support_Vector_Machine,即支持向量机，是机器学习中的一种监督学习分类算法，一般用于二分类问题。对于线性可分的二分类问题，SVM可以直接求解，对于非线性可分问题，其也可以通过核函数将低维映射到高维空间从而转变为线性可分。对于多分类问题，SVM经过适当的转换，也能加以解决。相对于传统的分类算法如logistic回归，k近邻法，决策树，感知机，高斯判别分析法(...
分类：
其他好文 时间：
2015-05-25 10:12:27
阅读次数：
183
