在做文本分类聚类的任务时，常常需要从文本中提取特征，提取出对学习有价值的分类，而不是把所有的词都用上，那样会造成维度灾难。因此一些词对分类的作用不大，比如“的、是、在、了”等停用词。这里介绍三种常用的特征选择方法： 无监督方法： TF IDF 监督方法： 卡方 信息增益 互信息 一、TF IDF 一 ...
分类：
其他好文 时间：
2019-08-04 13:32:31
阅读次数：
119
由于 "ScatterWebExtension" 停用(ps:个人感觉强制推广ScatterDesktop)， "ScatterDesktop" 的目前版本又存在 "部署合约错误的BUG" 导致很多 "Beosin IDE" 的用户无法部署合约到主网和测试网。 其实 "ScatterWebExten ...
分类：
Web程序 时间：
2019-07-18 13:27:43
阅读次数：
121
词向量训练步骤： 项目完整地址：https://github.com/cyandn/practice/tree/master/Word2Vec gensim中Word2Vec参数解释： 主要参数介绍如下： 存在的问题： 感觉 stop_words.txt 停用词去的有点狠。。 ...
分类：
其他好文 时间：
2019-07-14 23:56:34
阅读次数：
236
文本内容：data（包含很多条文本） 1、分词： 2、去除停用词： stoplist.txt：链接：https://pan.baidu.com/s/1lN1J8aUFOwqXpYMzuqVA7w 提取码：nk7z 3、 4、绘制 ...
分类：
编程语言 时间：
2019-07-14 09:25:04
阅读次数：
185
1.停用词 stop words: 在处理自然语言数据（或文本）之前或之后会自动过滤掉某些字或词。 停用词都是人工输入、或者由一个停用词表导入。 2.jieba是目前最好的 Python 中文分词组件，它主要有以下 3 种特性： 支持 3 种分词模式： 精确模式，试图将句子最精确地切开，适合文本分析 ...
分类：
其他好文 时间：
2019-07-09 22:34:17
阅读次数：
160
1、不同类别文本量统计，类别不平衡差异 2、文本长度统计 3、文本处理，比如文本语料中简体与繁体共存，这会加大模型的学习难度。因此，他们对数据进行繁体转简体的处理。 同时，过滤掉了对分类没有任何作用的停用词，从而降低了噪声。 4、上文提到训练数据中，存在严重的样本不均衡问题，如果不对该问题做针对性的 ...
分类：
其他好文 时间：
2019-07-02 16:15:03
阅读次数：
135
Linux默认允许任何人按下Ctrl+Alt+Del来重启系统。但是在生产环境中，应该停用按下Ctrl-Alt-Del 重启系统的功能。 会linux的技术牛们都知道前面的centos版本都是在/etc/inittab中配置，而centos7/RHEL7查看/etc/inittab文件，它会告诉你C ...
分类：
其他好文 时间：
2019-07-01 15:41:57
阅读次数：
177
1、前言 每次启动都会有一个烦人的“请停用以开发者模式运行的扩展程序”提示，这个提示有多烦人，接触过的人都知道，启动的时候它不立即提示，等过了几秒钟等你打开某个网页开始执行某些操作时它突然弹出来干扰你的操作，真是苦不堪言！所以总想着如何把它给去掉。 2、解决方法：修改dll文件法 打开Chrome安 ...
分类：
其他好文 时间：
2019-06-23 17:33:30
阅读次数：
372
安装油猴插件后，每次打开Chrome浏览器后右上角都会提示，“请停用以开发者模式运行的扩展程序”的一个窗口，强迫症患者表示很烦。 小白的我试过网上多数方法，有些已经失效，有些都太麻烦，我也懒的搞，最后神奇的发现了这种方法。 工具：火绒 火绒确实比其他安全软件要良心的多，楼主建议快卸载掉其他流氓安全软 ...
分类：
其他好文 时间：
2019-06-22 10:28:16
阅读次数：
205
获取到数据之后，首先对用户location做可视化 第一步 做数据清洗，把里面的数据中文符号全部转为为空格 第二步 数据做词云，需要过滤停用词，然后分词 输入结果 这样输出的原因是后面需要用pyechart做数据的词云 第三步 词云可视化 二 用户地址可视化 用户所在地成都热点图 程序脚本：这里需要 ...
分类：
其他好文 时间：
2019-06-19 15:12:29
阅读次数：
122
