1、 Spark VSHadoop有哪些异同点？ Hadoop:分布式批处理计算，强调批处理，常用于数据挖掘和数据分析。 Spark:是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速, Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还...
分类：
其他好文 时间：
2015-09-22 14:30:26
阅读次数：
118
一、什么是大数据分析工具及技术 Hadoop是目前的处理和存储海量数据的最佳工具。Hadoop可以利用数百台甚至数千台计算机处理大数据问题，而不是使用单机处理。 Hadoop可以以廉价、快速的范式处理大数据，彬进行数据...
分类：
其他好文 时间：
2015-09-22 13:09:56
阅读次数：
260
大数据分析是物联网背后的核心价值，物联智能硬件是物联大系统的终端，开发工程师不仅要深入精通物联技术，也应该去理解大系统，甚至整个生态领域的相关技术。本文从大的宏观网络架构一步一步深入到所谓微观的微信后台接入，理解物联网后端的架构和相关技术。...
分类：
微信 时间：
2015-09-22 13:07:20
阅读次数：
1578
提到数据挖掘，我们的第一个反应是之前的啤酒和尿布的故事听说过，这个故事是一个典型的数据挖掘关联规则。篮分析的传统线性回归之间的主要差别的差别，对于离散数据的相关性分析；常见的关联规则：关联规则：牛奶=>卵子【支撑=2%，置信度=60%】支持度：分析中的所有事务的2%同一时候购买了牛奶和鸡蛋，需设定域...
分类：
编程语言 时间：
2015-09-21 21:11:10
阅读次数：
254
提示: 读下面的文字时，希望大家结合图片看，这样更易理解 在YUV420中，一个像素点对应一个Y，一个2X2的小方块对应一个U和V。对于所有YUV420图像，它们的Y值排列是完全相同的，因为只有Y的图像就是灰度图像。YUV420sp与YUV420p的数据格式它们的UV排列在原理上是完全不同的。4.....
分类：
其他好文 时间：
2015-09-21 14:06:22
阅读次数：
127
成熟的数据分析主题，查询模式已经确立并且不轻易改变
传统的关系型数据库已经无法承受负荷，高速插入，大量读取
适合海量的，但同时也是简单的操作（例如value-key）
场景一：浏览历史
关系数据库的困难：
简单的事情只要上了量就会变得无比复杂的事情
Orderby耗费很多性能
大量发生，但又无法分布式处理
顾客需要实时看到自己的足迹，因此不能...
分类：
其他好文 时间：
2015-09-20 13:19:59
阅读次数：
156
最近有一个文本分析的需求，因分析系统用的是Perl，而Perl下优秀的中文文本分析包又少，所以调用R处理文本数据。为什么不用Python尽管Python拥有完备的NLP开源包支持，但是理由也很简单——因为Python目前接触不多，不敢班门弄斧，Python以后再说。目前，也只是需要的是一个快速原型，...
分类：
其他好文 时间：
2015-09-20 10:33:22
阅读次数：
250
数据挖掘：What？Why？How？ 这个问题思考了很久，作为过来人谈一谈，建议先看下以前的一些回答。 什么是数据挖掘？ 怎么培养数据分析的能力？ 如何成为一名数据科学家？ 磨刀不误砍柴工。在学习数据挖掘之前应该...
分类：
其他好文 时间：
2015-09-19 18:24:08
阅读次数：
277
一直做的数据分析均是基于数据库数据、日志进行分析，开发业务模型，日志深度监控系统。也一直想抓取到用户的感知，幸好找大数据平台的人要到了我们网站嵌码采集的相关数据，准备对用户行为从早期的access日志外，另一层面做下分析。用到时间函数时存在很大于oracle不同，用fro..
分类：
其他好文 时间：
2015-09-18 18:42:55
阅读次数：
224
内容简介：腾讯的月活跃用户8.3亿微信月活跃用户4.4亿QQ空间月活跃用户6.5亿游戏月活跃用户过亿如今腾讯的数据分析已经能做到始终“不落地”，即全部的实时处理。腾讯大数据平台有如下核心模块：TDW、TRC、TDBank、TPR和 Gaia。简单来说，TDW用来做批量的离线计算，TRC负责做流式的实...
分类：
其他好文 时间：
2015-09-17 19:16:10
阅读次数：
360
