服务介绍 随着实时分析技术的发展及成本的降低，用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博，微盘，云存储，弹性计算平台等十多个部门的多个产品的日志搜索分析业务，每天处理约32亿条(2TB)日志。 技术架构 简单介绍一下服务的技术架构： 这是一个再常见不过的架构了： （1）Kafka：接收 ...
分类：
其他好文 时间：
2017-02-18 18:35:47
阅读次数：
710
大数据分析处理架构图 数据源： 除该种方法之外，还可以分为离线数据、近似实时数据和实时数据。按照图中的分类其实就是说明了数据存储的结构，而特别要说的是流数据，它的核心就是数据的连续性和快速分析性； 计算层： 内存计算中的Spark是UC Berkeley的最新作品，思路是利用集群中的所有内存将要处理 ...
分类：
其他好文 时间：
2017-01-26 17:20:38
阅读次数：
678
活动说明：挨踢部落是为核心开发者提供深度技术交流，解决开发需求，资源共享的服务社群。基于此社群，我们邀请了业界技术大咖对开发需求进行一对一突破，解除开发过程中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。话题关键词：大数据spark数据分析数据画像部落阵..
分类：
其他好文 时间：
2016-12-30 22:27:04
阅读次数：
341
Coredump 是分析Android native exception 和 kernel exception的利器，coredump中文名是核心转储，大概可以理解为当系统或者某个进程发生异常无法挽救时，系统机制把这块出问题的内存取出来打包成核心转储供给系统异常工程师离线分析用。有了coredump ...
分类：
其他好文 时间：
2016-08-12 15:05:57
阅读次数：
2197
Kafka入门初探+伪集群部署 Kafka是目前非常流行的消息队列中间件，常用于做普通的消息队列、网站的活性数据分析（PV、流量、点击量等）、日志的搜集（对接大数据存储引擎做离线分析）。 全部内容来自网络，可信度有待考证！如有问题，还请及时指正。 概念介绍 在Kafka中消息队列分为三种角色: pr ...
分类：
其他好文 时间：
2016-08-03 23:52:12
阅读次数：
156
前段时间，工作上需要做一个针对视频质量的统计分析系统，各端（PC端、移动端和 WEB端）将视频质量数据放在一个 HTTP 请求中上报到服务器，服务器对数据进行解析、分拣后从不同的维度做实时和离线分析。（ps：这种活儿本该由统计部门去做的，但由于各种原因落在了我头上，具体原因略过不讲……） KNN的... ...
分类：
其他好文 时间：
2016-07-31 15:43:10
阅读次数：
219
在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的需求Hive就不合适了。实时应用场景可以使用Storm，它是一个实时处理系统，它为实时处理类应用提供了一个计算模型，可以很容易地进行编程处理。为了统一离线和实时计 ...
分类：
其他好文 时间：
2016-06-21 15:18:08
阅读次数：
362
最近在学习大数据的离线分析技术，所以在这里通过做一个简单的网站点击流数据分析离线系统来和大家一起梳理一下离线分析系统的架构模型。当然这个架构模型只能是离线分析技术的一个简单的入门级架构，实际生产环境中的大数据离线分析技术还涉及到很多细节的处理和高可用的架构。这篇文章的目的只是带大家入个门，...
分类：
Web程序 时间：
2016-05-31 06:32:23
阅读次数：
621
使用Hadoop进行离线分析或者数据挖掘的工程师，经常会需要对Hadoop集群或者mapreduce作业进行性能调优。性能调优的前提是需要能准确知道目前针对Hadoop集群或者mapreduce作业配置的参数。本文将针对这一需求，基于Hadoop开发一个简单实用的工具查询查看各种参数。...
分类：
其他好文 时间：
2016-04-22 19:23:43
阅读次数：
152
课程大纲及内容简介: 每节课约35分钟，共不下40讲 第一章（11讲） ·分布式和传统单机模式 ·Hadoop背景和工作原理 ·Mapreduce工作原理剖析 ·第二代MR--YARN原理剖析 ·Cloudera Manager 4.1.2安装 ·Cloudera Hadoop 4.1.2 安装 · ...
分类：
其他好文 时间：
2016-04-12 07:06:02
阅读次数：
130
