一、文本表示 文本表示的意思是把字词处理成向量或矩阵，以便计算机能进行处理。文本表示是自然语言处理的开始环节。 文本表示按照细粒度划分，一般可分为字级别、词语级别和句子级别的文本表示。字级别（char level）的如把“邓紫棋实在太可爱了，我想养一只”这句话拆成一个个的字：｛邓，紫，棋，实，在，太 ...
分类：
其他好文 时间：
2019-03-16 19:23:58
阅读次数：
1248
假设有一段文本："I have a cat, his name is Huzihu. Huzihu is really cute and friendly. We are good friends." 那么怎么提取这段文本的特征呢？ 一个简单的方法就是使用词袋模型（bag of words mode ...
分类：
系统相关 时间：
2018-09-06 02:59:03
阅读次数：
711
场景：上次回答word2vec相关的问题，回答的是先验概率和后验概率，没有回答到关键点。 词袋模型（Bag of Words, BOW）与词向量（Word Embedding）模型 词袋模型就是将句子分词，然后对每个词进行编码，常见的有one hot、TF IDF、Huffman编码，假设词与词之间 ...
分类：
其他好文 时间：
2018-05-21 00:01:36
阅读次数：
807
一、前述 LDA是一种 非监督机器学习 技术，可以用来识别大规模文档集（document collection）或语料库（corpus）中潜藏的主题信息。它采用了词袋（bag of words）的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息。但是词袋方法没有考 ...
分类：
其他好文 时间：
2018-04-04 12:42:25
阅读次数：
413
今天的内容是 【主题模型】 场景描述 基于Bag-Of-Words（或N-gram）的文本表示模型有一个明显的缺陷，就是无法识别出不同的词（或词组）具有相同主题的情况。我们需要一种技术能够将具有相同主题的词（或词组）映射到同一维度上去，于是产生了主题模型(Topic Model)。主题模型是一种特殊 ...
分类：
其他好文 时间：
2018-02-27 23:46:02
阅读次数：
320
因为在使用SIFT特征作图像分类时，需要最终能够表示每张图像的特征向量，所以要用到该模型。写一下学习的笔记。 简介： Bag of words模型最初被用在文本分类中，将文档表示成特征矢量。 对于一个文档，忽略单词之间的词序、语法和句法等，仅将其看作是一堆单词的集合，文档即为袋子。 袋中每个单词相互 ...
分类：
其他好文 时间：
2018-01-21 21:28:05
阅读次数：
222
http://blog.csdn.net/pipisorry/article/details/41957763 文本特征提取 词袋（Bag of Words）表征 文本分析是机器学习算法的主要应用领域。但是，文本分析的原始数据无法直接丢给算法，这些原始数据是一组符号，因为大多数算法期望的输入是固定长 ...
分类：
其他好文 时间：
2017-11-12 13:31:59
阅读次数：
227
跟着Bag of Words Meets Bags of Popcorn的初学者实例，敲了一遍代码。主要用到的是CountVectorizer，生成每个评论的词频向量，然后利用随机森林建立模型，对新的评论进行预测。提交之后，分数大概为0.84。 ...
分类：
编程语言 时间：
2017-10-24 11:34:57
阅读次数：
230
不管是GMM，还是k-means，都面临一个问题，就是k的个数如何选取？比如在bag-of-words模型中，用k-means训练码书，那么应该选取多少个码字呢？为了不在这个参数的选取上花费太多时间，可以考虑层次聚类。 假设有N个待聚类的样本，对于层次聚类来说，基本步骤就是： 1、（初始化）把每个样 ...
分类：
其他好文 时间：
2017-10-13 21:24:52
阅读次数：
217
由于编辑器总是崩溃，我只能直接把代码贴上了。 ...
分类：
其他好文 时间：
2017-08-14 11:32:09
阅读次数：
236
