2017 年 1 月 14、15日，为期 2 天的 ECUG Con 十周年大会在深圳圆满结束，会上七牛云 CEO 许式伟做了题为《七牛大数据平台建设实践》的演讲，首次披露七牛云在大数据方向的产品思路，以下是对他本次的演讲实录。 许式伟 七牛云创始人、CEO 从连接到智能 我们都说现在是移动互联网时 ...
分类：
其他好文 时间：
2017-02-16 14:02:36
阅读次数：
265
对于日志收集统计分析方案现在主流的有ELKrediskafkaflume+大数据平台，ELK我们以后再介绍，这里先简单介绍下rsyslog对接kafkakafka中的术语BrokerKafka集群包含一个或多个服务器，这种服务器被称为brokerTopic每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（..
分类：
其他好文 时间：
2017-02-13 14:20:27
阅读次数：
876
摘要： 在阿里巴巴在线在线技术峰会上的第三天，来自阿里云高级技术专家李金波为大家题为《企业大数据平台仓库架构建设思路》。本次分享中，李金波主要从总体思路、模型设计、数加架构、数据治理四个方面介绍了如何利用大数据平台的特性，构建更贴合大数据应用的数据仓库。 本文根据阿里云高级技术专家李金波在首届阿里巴 ...
分类：
其他好文 时间：
2017-02-07 12:20:52
阅读次数：
169
2017届的校招早早就结束了，抽出时间做个记录。 职位：后台开发工程师 岗位职责: 如果你热爱编程，这里给你平台用代码改变世界； 如果你乐于挑战，这里有用户和商家五花八门的需求和苛刻的系统运行环境在等待着你； 在这里，你可以参与后端模块、数据平台、基础服务和云计算功能的开发工作； 在这里，你还将参与 ...
分类：
其他好文 时间：
2017-01-15 17:54:30
阅读次数：
222
目录： 什么是大数据 Hadoop介绍-HDFS、MR、Hbase 大数据平台应用举例-腾讯 公司的大数据平台架构 “就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式……”。 大数据的4V特征-来源 公司的“大数据” 随着公司业务的增长，大量和 ...
分类：
其他好文 时间：
2017-01-13 12:47:46
阅读次数：
272
有赞大数据实践: 敏捷型数据仓库的构建及其应用有赞大数据实践: 敏捷型数据平台的构建及其应用前言数据仓库设计总体架构数据仓库实例基础指标层分层的好处数仓工具数据仓库与数据分析即席查询系统多维分析系统搜索分析系统固定报表系统数据仓库在信息检索中的应用小结前言互联网公司一般发展迅速. 一方面, 业务飞速... ...
分类：
其他好文 时间：
2017-01-05 18:20:48
阅读次数：
272
研发环境下搭建了一套基于CDH5的大数据平台。在重启服务器后发现HBase组件启动异常，如图HBaseMaster运行状况不良RegionServer运行状况不良所有的RegionServer角色全部停止，启动时报错。查看角色日志Masterrejectedstartupbecauseclockisoutofsync
org.apache.hadoop.hbase.Cl..
分类：
其他好文 时间：
2016-12-05 02:55:00
阅读次数：
408
公司对客户开放多个系统，运营人员想要了解客户使用各个系统的情况，在此之前，数据平台团队已经建设好了统一的Kafka消息通道。 为了保证架构能够满足业务可能的扩张后的性能要求，选用storm来处理各个应用系统上传到kafka中的埋点数据并在Mysql中汇聚。 埋点数据上报的格式为json，会上报类似如 ...
分类：
数据库 时间：
2016-12-02 01:09:35
阅读次数：
308
本文是58同城信息系统部高级经理余中洋对大数据在互联网行业应用的总结。以实际经验讲解了大数据从雏形到发展，以及发展过程中传统数据仓库到大数据平台的转化和大数据的可视化应用。
分类：
其他好文 时间：
2016-11-30 17:29:34
阅读次数：
114
解码阿里数据：对外数据产品也浮出水面 2014-05-21 大数据时代，阿里巴巴[微博]集团是最有资本进行烂漫遥想的公司之一，阿里数据平台事业部的服务器上，攒下了超过100PB已“清洗”的数据。 马云[微博]曾在2012年公开宣称，“平台、数据、金融”是阿里集团和阿里小微集团未来的指导路线。在此前后 ...
分类：
其他好文 时间：
2016-11-28 00:15:57
阅读次数：
235
