本文主要讲解基本最小二乘法和带有约束条件的最小二乘法。
一 基本最小二乘法
最小二乘法是回归中最为基础的算法。它是对模型的输出和训练样本输出的平方误差（这里还乘以了1/2只是为了求导简化）为最小时的参数 进行学习。
特别地，对于线性模型有：
求导可得：
其中设计矩阵：
%基本最小二乘法
clear all;
close all;
n = 50;
N ...
分类：
其他好文 时间：
2015-07-04 23:34:03
阅读次数：
157
一、BP神经网络的概念 BP神经网络是一种多层的前馈神经网络，其主要的特点是：信号是前向传播的，而误差是反向传播的。具体来说，对于如下的只含一个隐层的神经网络模型：(三层BP神经网络模型)BP神经网络的过程主要分为两个阶段，第一阶段是信号的前向传播，从输入层经过隐含层，最后到达输出层；第二阶段是误....
分类：
其他好文 时间：
2015-07-03 15:44:49
阅读次数：
1471
SICP 2.15 是接着 题目 2.14 的， 题目 2.14中提到了Alyssa设计的区间计算模块在并联电阻计算时会出现故障，这个问题是Lem发现的。接着，一个叫Eva的人也发现了这个问题。同一时候她还有更深入的思考。Eva认为。假设一个公式能够写成一种形式，当中具有非准确性的变量不反复出现。....
分类：
其他好文 时间：
2015-06-30 14:32:51
阅读次数：
152
粒子群算法求解函数极值
初始化一个粒子群体随机分布在解空间中。然后每一次迭代，根据每个粒子的历史最优位置和粒子群的最优位置更新每个粒子的位置，直到满足要求为止。clc;clear all;
tic; %程序运行计时
E0=0.001; %允许误差
MaxNum=100;...
分类：
编程语言 时间：
2015-06-29 10:13:50
阅读次数：
221
这一节讲线性模型，先将几种线性模型进行了对比，通过转换误差函数来将linear regression 和logistic regression 用于分类。比较重要的是这种图，它解释了为何可以用Linear Regression或Logistic Regression来替代Linear Classif...
分类：
其他好文 时间：
2015-06-27 15:46:40
阅读次数：
138
课程2课程2
归纳
回归就是变量之间的关系
相关系数
RSS
线性回归通过R语言
多元线性模型
虚拟变量哑变量
多元线性回归模型
回归诊断
广义线性模型一元以及多元的线性回归，统计学东西比较多，统计学术语一堆堆的
《大数据的统计学基础》基础的基础
logistic回归，划入广义线性回归模型。
变量筛选，从一堆变量中求解出来，以及降维。
1.归纳拟合，一般选择直线或者次数比较低得曲线。（测试有误差，曲...
分类：
其他好文 时间：
2015-06-26 13:04:58
阅读次数：
263
这一节课主要讲如何用logistic regression做分类。 在误差衡量问题上，选取了最大似然函数误差函数，这一段推导是难点。 接下来是如何最小化Ein，采用的是梯度下降法，这个比较容易。 参考：http://beader.me/mlnotebook/section3/logistic-re....
分类：
其他好文 时间：
2015-06-25 22:56:17
阅读次数：
226
作者：iamlaosong
据操作人员反映，自定义纸张设置不管用，打印时每页表头都会下移，很快就跑偏到下涨纸了。
打印机是针打，齿轮进纸，应该很精确的，初步怀疑纸张尺寸量的有问题，建议其多量几页纸的长度，再除以纸张数量，以便降低误差，但问题依然存在，于是改用标准窄列打印纸并按厂家尺寸设置，问题仍然存在，没办法，实地到现场查看了一下，结果如下：
1、自定义纸张已经做好了，名称是“模板1”，尺寸...
分类：
其他好文 时间：
2015-06-25 19:36:20
阅读次数：
153
这节课讲的是线性回归。与其他课程的线性回归相比，这门课要更加理论。通过说明线性回归误差是二分类误差的上界，来证明线性回归可以用于二元分类。参考：http://www.douban.com/note/323611077/
分类：
其他好文 时间：
2015-06-25 19:21:09
阅读次数：
160
k-means算法主要是用来解决什么问题呢？主要是用来解决类似于这样的问题：聚类，如一次班级聚餐，平时玩的好的同学，就会自动的聚集在一起愉快的玩耍。那么什么样才算平时玩的好呢？请看k-means算法。
K-means算法是硬聚类算法，是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。K-means算法以欧式距离作为相似度测度，它是求对应某一初始聚类中心向量V最优分类，使得评价指标J最小。算法采用误差平方和准...
分类：
编程语言 时间：
2015-06-22 11:09:19
阅读次数：
163
