Spark与Hadoop MapReduce均为开源集群计算系统，但是两者适用的场景并不相同。其中，Spark基于内存计算实现，可以以内存速度进行计算，优化工作负载迭代过程，加快数据分析处理速度；Hadoop MapReduce以批处理方式处理数据，每次启动任务后，需要等待较长时间才能获得结果。在机器学习和数据库查询等数据计算过程中，Spark的处理素的可以达到Hadoop
MapReduce...
分类：
其他好文 时间：
2014-12-31 16:26:30
阅读次数：
136
本文由伯乐在线-Lex Lian翻译。英文出处：Anand Krishnaswamy。欢迎加入翻译小组。Hadoop通常被认定是能够帮助你解决所有问题的唯一方案。 当人们提到“大数据”或是“数据分析”等相关问题的时候，会听到脱口而出的回答：Hadoop！实际上Hadoop被设计和建造出来，是用来解决...
分类：
其他好文 时间：
2014-12-30 11:38:07
阅读次数：
277
本文转自：http://blog.sina.com.cn/s/blog_5fc375650102e1g5.html今天在微博上看到@数据分析精选分享的一篇文章，是关于《在Excel中使用SQL语句实现精确查询》，觉得非常受用，分享给大家。微博上有人回复评论说直接用vlookup、或者导入数据库进行查...
分类：
数据库 时间：
2014-12-30 00:25:50
阅读次数：
188
fiddler 免费的数据包抓取软件很多时候，并不一定要致简，尤其是界面，如果你感觉这个按钮是多余的，那么就替用户做主去掉它，那有可能就是错误的，就像为什么聊天窗口的右下角有一个看似多余的关闭按钮，那么为什么腾讯没有去掉这个按钮呢，因为经过他们的数据分析得出，有很大一批用户他们更愿意使用这个按钮佐藤可士和（重新设计了优衣库的图标）的整理术：
掌握状况导入观点设定课题
艾宾浩斯错觉：同等...
分类：
其他好文 时间：
2014-12-29 08:58:29
阅读次数：
180
分类：将实例数据划分到合适的分类中。目标变量是离散型。回归：预测数值型数据。目标变量是连续型的数值。监督学习：必须知道预测什么，即目标变量的分类信息。目标变量是机器学习算法的预测结果。开发机器学习应用程序的步骤：1）收集数据；2）准备输入数据；3）分析输入数据；4）训练算法；5）测试算法；6）使用算...
分类：
其他好文 时间：
2014-12-28 20:46:50
阅读次数：
109
每周技术抢先看，总有你想要的！ 移动开发 【软件】移动基站数据分析 SnoopSnitch 【博客】android自动连接wifi——WifiManager 【资讯】OSC 安卓客户端全面改版 —— 新界面新体验 【资讯】Git@OSC 项目推荐 ——...
分类：
其他好文 时间：
2014-12-28 19:38:26
阅读次数：
193
一：简介以及学习的途径
（1）吉布斯采样（Gibbs Sampling)及相关算法 （学习向Gibbs sampling, EM, MCMC算法 等的好地方）
1） 推荐大家读Bishop的Pattern Recognition and Machine Learning，讲的很清楚，偏理论一些；
2） 读artificial Intelligence，2、3版...
分类：
其他好文 时间：
2014-12-27 21:48:39
阅读次数：
304
转自InfoQ，作者张天雷机器学习是目前数据分析领域的一个热点内容，在平时的学习和生活中经常会用到各种各样的机器学习算法。实际上，基于Python、Java等的很多机器学习算法基本都被前人实现过很多次了。这些算法在网上可以找到很多，然而往往存在很多“脏”或者“乱”的开源代码。在这样的背景下，Info...
分类：
其他好文 时间：
2014-12-27 21:43:05
阅读次数：
185
2.4.5大数据分析云
基于云计算总体架构下的大数据分析云解决方案，如图2-33所示。
图2-33
大数据分析云解决方案架构子系统组合
大数据分析云解决方案为海量静态数据批处理以及大流量动态流数据处理为关键特征的企业及行业应用场景提供支撑，通过自动化提取与归纳价值信息实现业务增值。大数据分析云由云计算的并行数据分析与挖掘平台所支撑，可充分利用云计算底层能力创造最大价值...
分类：
其他好文 时间：
2014-12-27 11:29:29
阅读次数：
214
什么是SLS？简单日志服务（Simple Log Service，简称SLS）是针对日志收集、存储、查询和分析的服务。用户只需简单地配置日志产生的位置和格式等信息，就能实时查询海量日志，并可通过SLS把日志归档保存到ODPS中做数据分析。SLS提供API写入和查询日志的功能，其中支持多种布尔运算的查...
分类：
其他好文 时间：
2014-12-26 18:31:28
阅读次数：
245
