熵： “形容一个系统的混乱程度”。系统的不确定性越高，熵就越大。 假设集合中的变量X={X1,X2,...Xn} 其对应在集合中的概率为P={p1,p2,...pn} 则熵表示为： 举例： 举一个的例子：对游戏活跃用户进行分层，分为高活跃、中活跃、低活跃，游戏A按照这个方式划分，用户比例分别为20% ...
分类：
其他好文 时间：
2020-08-31 13:15:49
阅读次数：
46
信息增益是树模型,比如ID3算法用来寻早最优特征分割点的计算标准了解信息增益之前, 需要了解熵 ###熵 信息增益与熵(entropy)有关，在概率论中，熵是随机变量不确定性的度量，熵越大，随机变量的不确定性就越大；假设$X$是取有限个值的离散随机变量，其概率分布为： \(P(X=x_i)=p_i, ...
分类：
其他好文 时间：
2020-08-27 17:03:55
阅读次数：
126
CV： 1. 常见的模型加速方法 2. 目标检测里如何有效解决常见的前景少背景多的问题 3. 目标检测里有什么情况是SSD、YOLOv3、Faster R-CNN等所不能解决的，假设网络拟合能力无限强 4. ROIPool和ROIAlign的区别 5. 介绍常见的梯度下降优化方法 6. Detect ...
分类：
编程语言 时间：
2020-08-04 09:55:07
阅读次数：
91
决策树：逼近离散值目标函数 适用问题：离散值分类 选择分类能力最好的属性根节点 度量： 熵 正例反例 同属于一类0，正=反 1 优选偏置，限定偏置 过度拟合：随机错误，噪声 数据太少 解决： 尽早停止树增长 修剪： 1.错误率降低修剪 2.规则后修剪 转换成规则 合并连续值属性 定义新属性，区间中值 ...
分类：
其他好文 时间：
2020-07-16 20:59:52
阅读次数：
66
Softmax softmax可以将经交叉熵损失函数的输出都映射到 0 到 1 间，且各分类累和为 1。符合概率分布。 假设共有 n 个输出 [Z1,...,Zn]，对第 i 个元素 Zi 的softmax的计算公式：Si = ezi / sum(ezn) softmax的反向传播求导过程 http ...
分类：
其他好文 时间：
2020-07-15 23:12:01
阅读次数：
195
Tensorflow一般经过三阶段的模式函数操作： 模型 inference()阶段：尽可能构建好图表（graph），满足促使神经网络向前反馈并做出相应的预测要求； 策略 loss()阶段：往inference图表中添加生成损失（loss）所需要的操作（ops），如交叉熵损失，正则化损失； 算法 t ...
分类：
其他好文 时间：
2020-07-14 21:50:43
阅读次数：
63
交叉熵损失函数 交叉熵的几种表达形式 Binary CrossEntropy Categorical CrossEntropy 对数似然函数与交叉熵的关系 均方误差与交叉熵误差(sigmoid为激活函数) 均方误差(MSE)与梯度更新 交叉熵误差与梯度更新 对比与结论 多分类交叉熵函数的梯度更新(s ...
分类：
其他好文 时间：
2020-07-08 19:48:06
阅读次数：
99
熵，事物的混乱程度； 熵有很多种计算方式； 概念介绍 如何理解呢？或者说 两个 均值相减 怎么就能反应 时间序列 的复杂性？ 首先，简单思考下这个计算过程，先用 m 长的窗口 滑动生成 一组 m 长的数组，假设 m = 2，那就是 一个 (n-m+1)x2 的数组，然后计算 每行 之间的距离，这其实 ...
分类：
其他好文 时间：
2020-07-02 20:08:50
阅读次数：
91
本篇借鉴了这篇文章，如果有兴趣，大家可以看看：https://blog.csdn.net/geter_CS/article/details/84857220 1、交叉熵：交叉熵主要是用来判定实际的输出与期望的输出的接近程度 2、CrossEntropyLoss()损失函数结合了nn.LogSoftm ...
分类：
其他好文 时间：
2020-06-26 14:34:08
阅读次数：
590
神经网络 BPNN 感知机 神经网络入门 反向传播 tensorflow tf基础 控制依赖项 变量命名域和tensorboard 一元线性回归 模型持久化 交叉熵 global_steps的使用 手写数据集实现 CNN 激活函数 CNN过拟合 手写数据集CNN模型 权重初始化-CNN 批归一化 自 ...
分类：
其他好文 时间：
2020-06-18 17:49:05
阅读次数：
63
