转自： http://www.csdn.net/article/2015-10-20/2825962【MDCC 2015】友盟数据平台负责人吴磊：移动大数据平台的架构与实践【CSDN现场报道】10月14日-16日，“ 2015移动开发者大会 · 中国”（Mobile Developer Con...
分类：
移动开发 时间：
2015-10-21 10:36:25
阅读次数：
343
一直做的数据分析均是基于数据库数据、日志进行分析，开发业务模型，日志深度监控系统。也一直想抓取到用户的感知，幸好找大数据平台的人要到了我们网站嵌码采集的相关数据，准备对用户行为从早期的access日志外，另一层面做下分析。用到时间函数时存在很大于oracle不同，用fro..
分类：
其他好文 时间：
2015-09-18 18:42:55
阅读次数：
224
内容简介：腾讯的月活跃用户8.3亿微信月活跃用户4.4亿QQ空间月活跃用户6.5亿游戏月活跃用户过亿如今腾讯的数据分析已经能做到始终“不落地”，即全部的实时处理。腾讯大数据平台有如下核心模块：TDW、TRC、TDBank、TPR和 Gaia。简单来说，TDW用来做批量的离线计算，TRC负责做流式的实...
分类：
其他好文 时间：
2015-09-17 19:16:10
阅读次数：
360
Zookeeper作为标准化的分布式协调组件，已经越来越多的运用到各个大数据平台中。在Zookeeper中，经常以类似于Linux文件系统一样的树形结构来保存一些状态信息，而node-zk-browser就是一款可以以图形化来查...
分类：
其他好文 时间：
2015-08-26 01:58:55
阅读次数：
154
关于ADMM的研究（一）最近在研究正则化框架如何应用在大数据平台上。找到了《Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers》这篇文章，感觉很适合...
分类：
其他好文 时间：
2015-07-09 21:16:22
阅读次数：
596
hadoop & hbase & nutch 搜索平台
hadoop,hbase,nutch.solr,oracle,db2,mysql,linux...
分类：
其他好文 时间：
2015-06-28 00:09:22
阅读次数：
155
前言因为需要在浪潮的x86服务器中集中部署CentOS搭建基于Hadoop的大数据平台，平时接触SLES(SuSE Linux Enterprise Server)较多并且已经实现基于Autoyast方式使用光盘或者PXE网络自动化安装(后续会分享具体实现方法)。这次主要通过学习Kisckstart实现最简单的光盘方式自动化安装CentOS，而网上的大多数教程并不完全适用于自身的环境，本文将不再赘述...
分类：
其他好文 时间：
2015-05-21 10:50:07
阅读次数：
239
Spark Contributor，Databricks工程师连城，华为大数据平台开发部部长陈亮，网易杭州研究院副院长汪源，TalkingData首席数据科学家张夏天联袂力荐1.本书全面、系统地介绍了Spark源码，深入浅出，细致入微2.提供给读者一系列分析源码的实用技巧，并给出一个合理的阅读顺序....
分类：
Web程序 时间：
2015-04-09 06:22:34
阅读次数：
163
上古十大神器之一天机镜：天机镜又名昆仑镜。昆仑山西王母所有，能洞察天机，知晓古今！1. 动机 在业务系统开发的前期，我们往往只专注到业务逻辑，而忽略了对系统本身的监控。 对硬件资源的监控运维同学提供的ganglia以及ZENOSS 能很好的满足我们的需求，监控机器的磁盘、cpu负载，内存，load....
分类：
其他好文 时间：
2015-03-12 22:32:24
阅读次数：
216
在最新版本的ODI中，通过使用各种知识模块，可在统一的界面上实现对传统数据库、hive, pig, spark, hdfs等的ETL操作，满足在同一系统或采用相同的方式实现ETL功能。详细的内容可参考：http://www.oracle.com/technetwork/database/bigdat...
分类：
数据库 时间：
2015-02-25 15:33:48
阅读次数：
140
