词袋法: 统计文本中出现的各个单词出现的数量,使用单词出现的数量作为文本的特征向量,使用单词作为特征, 但是单词一般情况比较多,所以考虑使用自定义词典作为特征,然后对自定义词典中的单词出现的数量进行统计即可.(频数) 哑编码: 将有限个类别的特征属性转换为数值型的特征向量,也就是用向量的形式来表示特 ...
分类：
其他好文 时间：
2018-08-16 13:51:54
阅读次数：
135
第一步：语料转化为词袋向量 step 1. 声明一个向量化工具vectorizer； 本文使用的是CountVectorizer，默认情况下，CountVectorizer仅统计长度超过两个字符的词，但是在短文本中任何一个字都可能十分重要，比如“去／到”等，所以要想让CountVectorizer也 ...
分类：
其他好文 时间：
2018-07-20 23:02:34
阅读次数：
260
贝叶斯分类首先准备好数据材料 第一次获取20newsgroups时会花费数分钟时间来获取数据，通过获得target_names可以查看其中的类型。 为了进行分类，采用词袋模型的方法，即统计每篇新闻的单词，不考虑单词间的联系，仅仅考虑它们出现的频率。 11314代表有11314篇文章，130107意思 ...
分类：
其他好文 时间：
2018-07-13 22:20:25
阅读次数：
348
场景：上次回答word2vec相关的问题，回答的是先验概率和后验概率，没有回答到关键点。 词袋模型（Bag of Words, BOW）与词向量（Word Embedding）模型 词袋模型就是将句子分词，然后对每个词进行编码，常见的有one hot、TF IDF、Huffman编码，假设词与词之间 ...
分类：
其他好文 时间：
2018-05-21 00:01:36
阅读次数：
807
代码来源于：tensorflow机器学习实战指南（曾益强 译，2017年9月）——第七章：自然语言处理 代码地址：https://github.com/nfmcclure/tensorflow-cookbook 解决问题：使用“词袋”嵌入来进行垃圾短信的预测（使用逻辑回归算法） 步骤如下： step ...
分类：
其他好文 时间：
2018-05-07 17:43:53
阅读次数：
782
1.理论基础——条件概率，词集模型、词袋模型 条件概率：朴素贝叶斯最核心的部分是贝叶斯法则，而贝叶斯法则的基石是条件概率。贝叶斯法则如下： 词集模型：对于给定文档，只统计某个侮辱性词汇（准确说是词条）是否在本文档出现 词袋模型：对于给定文档，统计某个侮辱性词汇在本文当中出现的频率，除此之外，往往还需 ...
分类：
其他好文 时间：
2018-04-26 12:08:21
阅读次数：
195
原文地址：https://blog.csdn.net/silence2015/article/details/77374910 本文概述 图像检索是图像研究领域中一个重要的话题，广泛应用于医学，电子商务，搜索，皮革等。本文主要是探讨学习基于局部特征和词袋模型的图像检索设计。 图像检索概述 图像检索按 ...
分类：
其他好文 时间：
2018-04-12 11:36:22
阅读次数：
385
一、前述 LDA是一种 非监督机器学习 技术，可以用来识别大规模文档集（document collection）或语料库（corpus）中潜藏的主题信息。它采用了词袋（bag of words）的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息。但是词袋方法没有考 ...
分类：
其他好文 时间：
2018-04-04 12:42:25
阅读次数：
413
上一篇中，主要说的就是词袋模型。回顾一下，在进行文本分类之前，我们需要把待分类文本先用词袋模型进行文本表示。首先是将训练集中的所有单词经过去停用词之后组合成一个词袋，或者叫做字典，实际上一个维度很大的向量。这样每个文本在分词之后，就可以根据我们之前得到的词袋，构造成一个向量，词袋中有多少个词，那这个 ...
分类：
其他好文 时间：
2018-04-03 14:24:41
阅读次数：
457
该方法提取图像集的词袋（bag-of-features），然后根据词袋对各图像编码得出图像特征，再对测试图像在训练图像集上进行检索，最后根据检索出的图像类别判断测试图像所属类别。该方法直接对图像进行处理，不需要先提取特征，再将特征文件导入。不过该方法消耗内存很大，适用于小规模图像集。代码如下：clear;%设置图象集路径imgSetFolder=fullfile(pwd,‘image‘);imgq
分类：
其他好文 时间：
2018-03-14 10:42:52
阅读次数：
313
