Hadoop的核心处理模块是MapReduce,也是当前最流行的大数据处理架构之一。它能够将Hadoop数据存储无缝的融入到数据处理当中,使得它在操作上足够简单,功能上足够强大。MapReduce已经解决很多实际问题(从日志分析,到数据排序,到文本操作,到基于模式的搜索,到图像处理,到机器学习等等)...
分类:
其他好文 时间:
2014-05-27 00:14:28
阅读次数:
449
FCM 算法用一个Job寻找cluster的中心点。在map的初始化节点,加载初始化(或上一轮迭代的结果)中心点。在map中计算point 和每一个簇的亲和度。在combiner计算同一个cluster的参数,该过程只能计算同一cluster的局部信息。在reduce中首先计算同一个cluster的全局参数,然后计算该cluster是否收敛,输出cluster。...
分类:
其他好文 时间:
2014-05-26 04:12:39
阅读次数:
302
在科学技术刚刚萌芽的时候,科学家Blaise Pascal和Von Leibniz就想到了有朝一日能够实现人工智能。即让机器拥有像人一样的智能。
机器学习是AI中一条重要的发展线,在工业界和学术界都异常火爆。企业、大学都在投入大量的资源来做机器学习方面的研究。最近,机器学习在很多任务上都有了重大的进步,达到或者超越了人类的水平(例如,交通标志的识别[1],ML达到了98.98%,已超越了人类)。...
分类:
其他好文 时间:
2014-05-23 02:10:44
阅读次数:
635
随着大数据时代的到来,我们越来越多的使用电子产品,使我们的活动信息被越来越多的收集起来。我们知道,机器学习的一大目标就是利用历史数据去预测未来,那么,我们的行为会不会被预测呢?...
分类:
其他好文 时间:
2014-05-22 22:43:12
阅读次数:
557
这篇文章不提原理,讲讲hadoop及其周边项目的作用。
hadoop这个词已经流行好多年了,一提到大数据就会想到hadoop,那么hadoop的作用是什么呢?
官方定义:hadoop是一个开发和运行处理大规模数据的软件平台。核心词语是平台,也就是说我们有大量的数据,又有好几个电脑,我们知道应该把处理数据的任务分解到各个电脑上,但是不知道怎样分配任务,怎样回收结果,hadoop大概就帮助我们做了...
分类:
其他好文 时间:
2014-05-22 10:34:39
阅读次数:
288
大数据的热门使得很多人都想往这个方向发展,做一些像数据挖掘,数据分析之类的工作。但是该从何开始呢?要怎样才能快速学到一些有用的知识,技能呢?我觉得有三个切入点,依照个人特点可以自行选择顺序切入。...
分类:
其他好文 时间:
2014-05-22 10:33:54
阅读次数:
232
机器学习入门教材有许多,入门方式多种多样,我是半路出家,简单总结一下我的机器学习之路。2011年考入北邮计算机研究生学院,主要是NLP方向。之前没有接触过机器学习,本科也不是计算机专业,而是工商管理。
2011年研究生阶段,两节课对我影响很大:
第一节课是计算语言学,最开始了解和接触机器学习,是在上这节课的时候,老师推荐的教材《统计自然语言处理基础》。在老师的课上,有讲到HMM(隐马尔...
分类:
其他好文 时间:
2014-05-22 08:24:51
阅读次数:
307
语音技术是研究用数字信号处理技术和机器学习方法对语音信号进行处理的一门学科。语音技术的目的:
得到某些参数以便高效传输或存储;或者是用于某种应用,如人工合成出语音、辨识出讲话者、识别出讲话内容、进行语音增强等。
语音编码:在保持可以接受的失真的情况下,采用尽可能少的比特数表示语音。脉冲编码调制(PC...
分类:
其他好文 时间:
2014-05-21 21:53:13
阅读次数:
320
//====================================================决策树的构造:构造决策树时,需要解决的第一个问题是,当前数据集上那个特征在划分数据是起决定性作用。为了找到决定性特征,我们必须使用某种度量来评估每个特征。完成评估之后,找到决定性特征,使用该特...
分类:
其他好文 时间:
2014-05-21 18:05:53
阅读次数:
343
k邻近算法采用测量不同特征值之间的距离方法进行分类。优点:精度高、对异常值不敏感、没有数据输入假定;缺点:计算复杂度高、空间复杂度高(占内存);使用数据范围:数值型和标称型。
k-邻近算法的工作原理是:存在一个训练样本集,并且每个数据都存在标签,即我们知道每个数据都对应的哪个分类。输入一个没有标签的新数据,将新数据的每个特征和样本集中的所有数据进行笔记哦啊,提取出样本集中特征最相似(邻近)的分类...
分类:
编程语言 时间:
2014-05-20 16:54:05
阅读次数:
534