1.统计学习 统计学习的对象：（1）data ： 计算机及互联网上的各种数字、文字、图像、视频、音频数据以及它们的组合。（2）数据的基本假设是同类数据具有一定的统计规律性。统计学习的目的：用于对数据（特别是未知数据） 进行预测和分析。统计学习的方法：（1）分类： 监督学习无监督学习半监督学习强化学习 ...
分类：
其他好文 时间：
2020-01-25 19:28:51
阅读次数：
155
微服务鉴权限流剖析 微服务 把复杂的大应用，解耦拆分成几个小的应用。 有利于团队组织架构的拆分，毕竟团队越大协作的难度越大； 每个应用都可以独立运维，独立扩容，独立上线，各个应用之间互不影响。 有利就有弊： 大应用拆分成微服务之后，服务之间的调用关系变得更复杂，平台的整体复杂熵升高，出错的概率、de ...
分类：
编程语言 时间：
2020-01-20 20:59:57
阅读次数：
76
我们提出了公理：“宇宙只有一个”的一维流形表示（即“一尺”），作为纯数学演绎推导的唯一出发点，在严格几何直观的根基上去重新建立数学，不需要其他假设，在现实宇宙（物质宇宙）的所有维度中都成立。其推导出宇宙物质的量子数即几何的自然数可以被解释为整个宇宙内部能量耗损之“商”增至最大（与“熵”增过程对立）。 ...
分类：
其他好文 时间：
2020-01-20 00:31:03
阅读次数：
151
信息熵 信息量和信息熵的概念最早是出现在通信理论中的，其概念最早是由信息论鼻祖香农在其经典著作《A Mathematical Theory of Communication》中提出的。如今，这些概念不仅仅是通信领域中的基础概念，也被广泛的应用到了其他的领域中，比如机器学习。 信息量用来度量一个信息的 ...
分类：
其他好文 时间：
2020-01-17 21:30:11
阅读次数：
86
背景 Cassandra的逆熵功能使用Merkle树来检测副本之间的数据不一致。 定义 Merkle树是一种哈希树，其中的叶子包含各个数据块的哈希值，父节点包含其各自的子节点的哈希值。它提供了一种有效的方法来查找副本上存储的数据块中的差异，并减少了传输以比较数据块的数据量。 Cassandra的Me ...
分类：
其他好文 时间：
2020-01-17 21:10:37
阅读次数：
61
个人理解，专业人士笑一下就好了。 熵越小，信息量越大，越不稳定。举个例子，公司年会抽奖，假设有四个球ABCD，只有一个球是10万元现金奖。负责抽奖系统的是吃喝玩乐的狗肉朋友。 （1）朋友偷偷的告诉你：A的中奖概率25%，B的中奖概率25%，C的中奖概率25%，D的中奖概率25%。不知道想不想打他一顿 ...
分类：
其他好文 时间：
2020-01-12 00:17:24
阅读次数：
70
思维模型 自我攻击反熵增 增长飞轮 网状进化 升维过势垒 what-why-so what 5Why 第一性原理 精微-还原论 自律 刻意练习 竞争取舍线 结构化思维-矩阵思维 地图模型：从一到十，舍九取一 分形创新 单一要素最大化 第二曲线 ROSE（资源、目标、布局、终局） 美学思维（欣赏美、创 ...
分类：
其他好文 时间：
2020-01-10 23:52:20
阅读次数：
136
信息熵为什么要定义成 Σp log(p)？ 再解释信息熵之前，需要先来说说什么是信息量。 信息量是对信息的度量，单位一般用bit。 信息论之父克劳德·艾尔伍德·香农(Claude Elwood Shannon?)对信息量的定义如下： 在解释这个公式之前，先看看下面的例子。 比如一个黑箱里有2个苹果， ...
分类：
其他好文 时间：
2020-01-07 13:25:20
阅读次数：
90
`Focal Loss`是为了处理样本不平衡问题而提出的，经时间验证，在多种任务上，效果还是不错的。在理解`Focal Loss`前，需要先深刻理一下交叉熵损失，和带权重的交叉熵损失。然后我们从样本权利的角度出发，理解`Focal Loss`是如何分配样本权重的。Focal是动词Focus的形容词... ...
分类：
其他好文 时间：
2020-01-06 12:37:04
阅读次数：
299
整理一下下信息论中的几种编码。 不等长编码定理 若一离散无记忆信源的熵为H(U),每个信源符号用D进制码元进行不等长编码,则一定存在一种无失真编码方法,构成唯一可译码，其平均码长满足: $$ \frac {H(U)}{\log(D)} \leq \overline{n} \leq \frac {H( ...
分类：
其他好文 时间：
2020-01-05 15:54:01
阅读次数：
501
