最近试了一下Word2Vec,GloVe以及对应的python版本gensim word2vec和python-glove，就有心在一个更大规模的语料上测试一下，自然而然维基百科的语料进入了视线。维基百科官方提供了一个很好的维基百科数据源：https://dumps.wikimedia.org，可以...
分类：
编程语言 时间：
2015-03-16 22:48:21
阅读次数：
348
关于神经网络训练的部分还没有看完，之后会陆续补全。
word2vec源代码：
// Copyright 2013 Google Inc. All Rights Reserved.
//
// Licensed under the Apache License, Version 2.0 (the "License");
// you may not use this file except...
分类：
其他好文 时间：
2015-03-06 15:53:17
阅读次数：
181
word2vec是Google在2013年提出的一款开源工具，其是一个Deep Learning(深度学习)模型（实际上该模型层次较浅，严格上还不能算是深层模型，如果word2vec上层再套一层与具体应用相关的输出层，如Softmax，便更像是一个深层模型），它将词表征成实数值向量，采用CBOW（Continuous Bag-Of-Words Model，连续词袋模型）和Skip-Gram(Con...
分类：
Windows程序 时间：
2015-02-04 23:30:43
阅读次数：
1071
word2vec阅读笔记 word2vec使用指导 用word2vec 跑搜狗SogouCS语料 - 大小4G | 6.8 亿词长 | 57万词汇
分类：
其他好文 时间：
2015-01-15 00:12:20
阅读次数：
219
最近又要做文本方面的处理，由于需求的定制化较高，还可能要放到集群上使用，所以不能再用公司封得严严密密、又笨又重的分词组件了。于是再次在网上找了一下能下载的分词工具，开源的：mmseg、IK_Analyzer、imdict、paoding、jcseg、free_ictclas、fnlp闭源的：NLPI...
分类：
其他好文 时间：
2014-12-16 17:00:10
阅读次数：
6186
以前都是用C++对中文进行分词，也用过Python的“结巴”分词，最近用了一下Java的Ansj中文分词，感觉还不错。
下面是用Ansj对中文进行分词的一个简单例子，希望能对大家有用。
1.下载Ansj的相关jar包
要用Ansj进行中文分词，必须先下载Ansj的jar包，下载地址可以参考：https://github.com/NLPchina/ansj_seg
2.程序代...
分类：
编程语言 时间：
2014-11-26 14:24:16
阅读次数：
329
本人还没有做过自然语言处理，但是基于Deep Learning 的关注，自然也了解了一些Word2vec的强大。
Word2vec 是google 在2013年提供的一款将词表征为实数值向量的高效工具。而Word2vec
输出的词向量可用于做NLP 相关的工作，比如聚类、找同义词、词性分析等。Word2vec 大受欢迎的一个原因是其高效性， Tomas Mikolov 在[1]...
分类：
其他好文 时间：
2014-11-13 16:47:26
阅读次数：
192
假设每个词对应一个词向量，假设：1、两个词的相似度正比于对应词向量的乘积。即：$sim(v_1,v_2)=v_1\cdot v_2$。即点乘原则；2、多个词$v_1~v_n$组成的一个上下文用$C$来表示，其中$C=\sum_{i=1}^{n}v_i$。即加和原则；
分类：
其他好文 时间：
2014-11-07 14:48:49
阅读次数：
801
近日需要对大众点评网60万+的景点评论进行语义分析，所以必须使用分词工具，刚刚开始时我是选择使用NLPIR汉语分词系统（又名ICTCLAS2014），NLPIR的教程在[分词]NLPIR/ICTCLAS2014分词系统的C++ API 在Windows下初次使用，但是直观上感觉分词效果不怎么理想.....
分类：
编程语言 时间：
2014-09-20 09:57:17
阅读次数：
342
negative-sampling， word2vec
分类：
其他好文 时间：
2014-08-09 21:11:59
阅读次数：
443
