本文是LDA主题模型的第二篇，读这一篇之前建议先读文本主题模型之LDA(一) LDA基础，同时由于使用了基于MCMC的Gibbs采样算法，如果你对MCMC和Gibbs采样不熟悉，建议阅读之前写的MCMC系列MCMC(四)Gibbs采样。 1. Gibbs采样算法求解LDA的思路 首先，回顾LDA的模 ...
分类：
编程语言 时间：
2018-12-04 13:06:33
阅读次数：
147
摘要： 当我们已知模型的存在，想知道参数的时候我们就可以通过采样的方式来获得一定数量的样本，从而学习到这个系统的参数。变分则是在采样的基础上的一次提升，采用相邻结点的期望。这使得变分往往比采样算法更高效：用一次期望计算代替了大量的采样。直观上，均值的信息是高密(dense)的，而采样值的信息是稀疏( ...
分类：
其他好文 时间：
2018-11-10 20:13:57
阅读次数：
140
已提供一个Rand7()的API可以随机生成1到7的数字，使用Rand7实现Rand10，Rand10可以随机生成1到10的数字。 ...
分类：
其他好文 时间：
2018-10-26 17:56:07
阅读次数：
224
1.理解 问题定义可以简化如下：在不知道文件总行数的情况下，如何从文件中随机的抽取一行？ 首先想到的是我们做过类似的题目吗?当然，在知道文件行数的情况下，我们可以很容易的用C运行库的rand函数随机的获得一个行数，从而随机的取出一行，但是，当前的情况是不知道行数，这样如何求呢？我们需要一个概念来帮助 ...
分类：
编程语言 时间：
2018-10-21 16:04:24
阅读次数：
311
词向量： 无论是一段话或是一篇文章，词都是最基本的组成单位。 如何让计算机利用这些词？ 重点是如何把一个词转换成一个想向量 如果在一个二维空间中，had，has，have意思相同，所以要离的比较近。 need，help也是离的比较近 要表现出相同，相关。 比如说下面的例子： 哪些词离青蛙frog比较 ...
分类：
其他好文 时间：
2018-10-20 00:48:20
阅读次数：
347
https://blog.csdn.net/DinnerHowe/article/details/80267062 1, initialize by random sampling PRM is not Not complete Edge case: only probably complete, ...
分类：
其他好文 时间：
2018-10-15 14:45:10
阅读次数：
278
preprocess Logistic Regression LightGBM 1. 二分类 2.多分类 XGBoost 1. 二分类 处理正负样本不均匀的案例 主要思路 1. 手动调整正负样本比例 2. 过采样 Over Sampling 对训练集里面样本数量较少的类别（少数类）进行过采样，合成新 ...
分类：
其他好文 时间：
2018-10-06 21:36:54
阅读次数：
291
zhuanzi:https://blog.csdn.net/u010223750/article/details/69948463 采样介绍 假如我们有一个多分类任务或者多标签分类任务，给定训练集(xi,Ti)(xi,Ti)，其中xixi表示上下文，TiTi表示目标类别(可能有多个).可以用word ...
分类：
其他好文 时间：
2018-10-06 18:36:06
阅读次数：
432
《LDA数学八卦》对于LDA的Gibbs Sampling求解讲得很详细，在此不在重复在轮子，直接贴上该文这部分内容。 Gibbs Sampling 批注： 1、 对于第i个词语，上式k（主题类型）未知，取值范围为[1, K]，t（词语类型）已知，即观测值。 2、 由于doc-topic与topic ...
分类：
其他好文 时间：
2018-10-06 13:16:07
阅读次数：
168
二维Gibbs Sampling算法 Gibbs Sampling是高维概率分布的MCMC采样方法。二维场景下，状态(x, y)转移到(x’, y’)，可以分为三种场景 （1）平行于y轴转移，如上图中从状态A转移到状态B。 （2）平行于x轴转移，如上图中从状态A转移到状态C。 （3）其他情况转移，如 ...
分类：
其他好文 时间：
2018-10-05 10:42:20
阅读次数：
135
