1.基础神经网络： 输入向量ｘ，权重向量w， 偏置标量b， 激活函数sigmoid（增加非线性度） 优化手段： 梯度下降优化， BP向后传播（链式规则） 梯度下降优化： 1. 使用得目标函数是交叉熵 c = 1/nΣΣ[yj*lnaj^2 + (1-yj)*ln(1-aj^2)] yj表示得是样本标 ...
分类：
编程语言 时间：
2018-10-15 20:49:02
阅读次数：
196
决策树优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据； 决策树缺点：可能会产生过度匹配问题。 决策树的一般步骤： （1）代码中def 1，计算给定数据集的香农熵： 其中n为类别数，D为数据集，每行为一个样本，pk 表示当前样本集合D中第k类样本所占的比例，Ent ...
分类：
编程语言 时间：
2018-10-04 17:50:52
阅读次数：
205
信息熵 熵度量了事物的不确定性，越不确定的事物，它的熵就越大。在没有外部环境的作用下，事物总是向着熵增大的方向发展，所以熵越大，可能性也越大。 $$ H(X)= \sum_{i=1}^np_{(i)}logp_{(i)} $$ 条件熵 X确定时，Y的不确定性度量。 在X发生是前提下，Y发生新带来的熵 ...
分类：
其他好文 时间：
2018-10-01 15:34:45
阅读次数：
272
数据：14天打球情况 特征：4种环境变化，outlook观察，temperature温度，humidity湿度，windy刮风 目标：构造决策树 根据四种特征决策play 划分方式：4种 问题：谁当根节点呢？ 依据：信息增益 在历史数据中（14天）有9天打球，5天不打球，所以此时的熵应为： 关于lo ...
分类：
其他好文 时间：
2018-09-28 16:39:13
阅读次数：
223
熵（entropy）、KL散度（Kullback-Leibler (KL) divergence）和交叉熵（cross-entropy）在机器学习的很多地方会用到。比如在决策树模型使用信息增益来选择一个最佳的划分，使得熵下降最大；深度学习模型最后一层使用 softmax 激活函数后，我们也常使用交叉... ...
分类：
其他好文 时间：
2018-09-27 22:53:39
阅读次数：
211
本文主要介绍了最大熵的概念，以及利用最大熵原理推导出的最大熵模型，及其学习方式。 ...
分类：
其他好文 时间：
2018-09-25 20:35:12
阅读次数：
186
一、损失函数(loss) [前向传播的预测值y与已知答案y_的差距]： 1.优化目标：使loss达到最小值。 2.优化方法：均方误差（mse） 交叉熵（ce） 自定义 详解： 1.均方误差mse： 公式： 函数：loss_mse = tf.reduce_mean(tf.square(y_ - y)) ...
分类：
其他好文 时间：
2018-09-25 17:27:00
阅读次数：
225
概念 均方差 MSE mean square error 平均绝对差 MAE mean absolute error 交叉损失熵 cross entropy 欠拟合：训练集和测试集性能接近 过拟合：训练集远远高于测试集性能 有监督学习算法比较 knn 调节：n_neighbors 优点：模型很容易解 ...
分类：
编程语言 时间：
2018-09-24 13:51:44
阅读次数：
158
网上的内容感觉又多又乱，自己写一篇决策树算法。希望对别人有所启发，对自己也是一种进步。 决策树 须知概念 信息熵 & 信息增益 熵： 熵（entropy）指的是体系的混乱的程度，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。 信息熵（香农熵）： 是一种信息的度量方式，表示信息的混 ...
分类：
编程语言 时间：
2018-09-24 00:50:03
阅读次数：
185
今天看了下这两个算法的思路，比较容易理解，就在这里简单记录一下 ID3算法：决策树中的一种经典算法，属于有监督学习和分类算法，如果遇到连续值需离散处理，以香农熵作为信息获取度量，通过计算特征的信息熵增益来确定一个个的根节点 退出条件如下： 1、标记属性一致 2、无可再分属性，这时就投票决定 缺点：对 ...
分类：
其他好文 时间：
2018-09-16 15:55:42
阅读次数：
162
