本文主要研究了分布式强化学习，利用价值分布(value distribution)的思想，求出回报$Z$的概率分布，从而取代期望值(即$Q$值)。 Q-Learning Q-Learning的目标是近似Q函数，即在策略$\pi$下回报$Z_t$的期望值： \(Q^{\pi}(s,a)=\mathbb ...
分类：
其他好文 时间：
2020-11-06 01:12:19
阅读次数：
18
架构师口中的混沌工程，究竟用来解决什么问题导读：混沌工程，翻译自国外的ChaosEngineering，在Netflix以及最近的一些技术大会得到了广泛关注，本文介绍了混沌工程的一些基本原理。Netflix不仅是一家互联网视频平台，它也提出了一系列混沌工程的基本原则。混沌工程这个词可能听起来不是那么清晰，但它实际上是一种提高技术架构弹性能力的复杂技术手段。这篇文章旨在解释混沌工程是什么以及它是如何
分类：
其他好文 时间：
2020-11-06 01:04:46
阅读次数：
14
我叫郭子洋，1993年出生在安徽南部的一座小城。父亲是某国企下属单位的一名车间工人，母亲四处打零工补贴家用，我还有一个比我大三岁的姐姐。 虽然家境寒微，但父母非常注重我和姐姐的教育问题，他们从小就教导我们要好好读书考个好大学将来才能出人头地。我和姐姐总算没有辜负他们的期望，姐姐毕业于省城的一座师范大 ...
分类：
其他好文 时间：
2020-11-01 10:31:57
阅读次数：
12
转至：https://blog.csdn.net/qq_41944882/article/details/103560879 1 术语解释1.1 高可用（HA）什么是高可用？顾名思义我们能轻松地理解是高度可用的意思，也说是说高可用（high availability）指的是运行时间能满足预计或期望的 ...
分类：
数据库 时间：
2020-10-30 11:55:03
阅读次数：
26
新章节 容斥原理 基本思路：根据给出的N一般很小的原理，我们需要明确三个事情 集合是什么，条件是什么，什么满足什么不满足 然后通过二进制状态压缩的方式枚举每一个变量的存在与否 根据奇偶性对答案+或者-就可以统计出原来的答案 一般来说，其中会有很明显的集合重叠特征 t1牛皮的鲜花 发现n很小，但是每一 ...
分类：
其他好文 时间：
2020-10-26 11:06:34
阅读次数：
20
看到不超过 $36$ 次询问显然可以想到是 $\log $ 时间复杂度。 暴力的做法自然是 \(u\) 从 $1$ 开始，每次询问 \(u\to x\) 路径上的第 $2$ 个节点，暴力跳并继续询问，期望询问次数为 \(\log n\)，但链的询问次数为 \(O(n)\)。这和树剖很像，都是在链时存 ...
分类：
其他好文 时间：
2020-10-18 10:11:06
阅读次数：
17
为什么需要nullptr? NULL有什么毛病？ 我们通过下面一个小小的例子来发现NULL的一点问题： class Test { public: void TestWork(int index) { std::cout << "TestWork 1" << std::endl; } void Tes ...
分类：
编程语言 时间：
2020-10-10 16:51:49
阅读次数：
30
UOJ36【清华集训2014】玛里苟斯 给定序列 \(a\)，每个元素有 \(\frac{1}{2}\) 的概率被选择，设 \(x\) 表示被选择的元素的异或和，求 \(x^k\) 的期望。 \(n\le 10^5,k\le 5,a_i\ge 0\) 保证答案小于 $2^{63}$ Solution ...
分类：
其他好文 时间：
2020-10-09 21:03:12
阅读次数：
19
今日内容 1. Junit单元测试 2. 反射 3. 注解 Junit单元测试： * 测试分类： 1. 黑盒测试：不需要写代码，给输入值，看程序是否能够输出期望的值。 2. 白盒测试：需要写代码的。关注程序具体的执行流程。 * Junit使用：白盒测试 * 步骤： 1. 定义一个测试类(测试用例) ...
分类：
其他好文 时间：
2020-10-08 18:05:53
阅读次数：
16
现代计算机科学以尼尔·福特的“人生苦短，切莫手动分配内存。”为嚆矢。滥觞于哲学与数学的期望正失去它们的借鉴意义。但面对看似无垠的未来天空，我想循菲尔·卡尔顿“计算机科学中仅存在两件难事：缓存失效和命名。”好过过早地振翮。 我们怀揣热忱的灵魂天然被赋予对超越性的追求，不屑于古旧坐标的约束，钟情于在别处 ...
分类：
其他好文 时间：
2020-10-05 22:29:21
阅读次数：
37
