第十章 线性判别式

,令x=( x1,x2,…,xn)T

1-范数:║x║1=│x1│+│x2│+…+│xn│

2-范数:║x║2=(│x1│^2+│x2│^2+…+│xn│^2)^1/2

∞-范数:║x║∞=max(│x1│,│x2│,…,│xn│)

易得 ║x║∞≤║x║2≤║x║1≤n1/2║x║2≤n║x║∞

定理1.Cn中任意两种向量范数║x║α,║x║β是等价的,即有m,M>0使

m║x║α≤║x║β≤M║x║

可根据范数的连续性来证明它.由定理1可得

定理2.设{x(k)}是Cn中向量序列,x是Cn中向量,则

║x(k)-x║→0(k→∞) iff xj(k)-xj→0,j=1,2,…,n(k→

∞)

其中xj(k)是x(k)的第j个分量,xj是x的第j个分量.此时称{x(k)}收敛于x,记作x(k)

→x(k→∞),或 .

4，E(W|x)表示参数W在训练集x上的误差。

5，logit(y)=log((y/(1-y)):逻辑斯谛判别式

6，s形函数：y=?p(C1|X) = {1+exp[-(W^TX+w_o)]}  =sigmoid [p(C1|X)]  作为p(C1|X)估计

7，互熵（cross-entropy）:E=-logL

8，逻辑斯谛判别式算法是否能够改进？