五个顶级的大数据架构 自从像AWS这样的公共云产品开辟了大数据分析功能以来,小企业通过挖掘大量的数据做到只有大企业才能做到的事情,至今大约有10年时间。这些事情其中包括网络日志、客户购买记录等,并通过按使需付费的方式提供低成本的商品集群。在这十年中,这些产品蓬勃发展,涵盖了从实时(亚秒级延迟)流媒体 ...
分类:
其他好文 时间:
2018-09-04 13:41:32
阅读次数:
195
简介 Kafka经常用于实时流数据架构,用于提供实时分析。本篇将会简单介绍kafka以及它为什么能够广泛应用。 简介 Kafka经常用于实时流数据架构,用于提供实时分析。本篇将会简单介绍kafka以及它为什么能够广泛应用。 kafka的增长是爆炸性的。2017年超过三分之一的世界五百强公司在使用ka ...
分类:
其他好文 时间:
2018-08-28 20:23:24
阅读次数:
154
前几天在 QQ 群里跟 网友 讨论了一下 12306 架构 , 把 讨论的一些想法整理一下 。 总的来说 , 12306 的解决可以分为 2 个 流派 : 1 技术流 , 2 业务流 。 我们先来看看这篇文章 https://www.cnblogs.com/netfocus/p/5187241.ht ...
分类:
其他好文 时间:
2018-08-28 18:56:59
阅读次数:
143
随着数据已经逐步成为一个公司宝贵的财富,大数据团队在公司往往会承担更加重要的角色。根据七牛云在日增千亿级的日志分析工作,资深数据架构师崔文正为大家分享了大数据技术架构选型的一些经验。
分类:
其他好文 时间:
2018-08-22 18:26:24
阅读次数:
197
1.前言 为了适应大数据应用场景的要求,Hadoop以及NoSQL等与传统企业平台完全不同的新兴架构迅速地崛起。而下层技术基础的革命必将影响上层建筑:数据模型和算法。简单地将传统基于第四范式结构化关系型数据库的模型拷贝到新的引擎上,无异于削足适履,不仅增加了大数据应用开发的难度和复杂度,又无法发释放 ...
分类:
数据库 时间:
2018-07-25 14:29:37
阅读次数:
191
7月24日晚上8点,七牛云高级大数据架构师王珂,将以《如何快速搭建智能化的统一日志管理系统》为题进行他对于七牛云日志管理经验的分享。 ...
分类:
其他好文 时间:
2018-07-20 18:56:10
阅读次数:
170
机器学习作为近几年的一项热门技术,不仅凭借众多“人工智能”产品而为人所熟知,更是从根本上增能了传统的互联网产品。在近期举办的2018ArchSummit全球架构师峰会上,个推首席数据架构师袁凯,基于他在数据平台的建设以及数据产品研发的多年经验,分享了《面向机器学习数据平台的设计与搭建》。一、背景:机器学习在个推业务中的应用场景作为独立的智能大数据服务商,个推主要业务包括开发者服务、精准营销服务和各
分类:
其他好文 时间:
2018-07-20 17:32:47
阅读次数:
161
最近遇见一个问题: 想要将Sqlserver高版本备份的数据还原到低版本SqlServer上去,但是这在SqlServer中是没法直接还原数据库的,所以经过一系列的请教总结出来一下可用方法。 首先、你得在电脑上装有你将要操作的高版本以及低版本的SqlServer或者你能够连上SqlServer高版本 ...
分类:
数据库 时间:
2018-06-23 18:52:33
阅读次数:
188
IOTA是什么?你是否为下一代大数据架构做好准备? 经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数据架构的变化。 ▌Lambda架构 在过去Lambda数据架构成为每一个公司大数据 ...
分类:
其他好文 时间:
2018-06-07 19:41:56
阅读次数:
255
WOT大数据处理技术分会场,PingCAP CTO黄东旭、易观智库CTO郭炜、Mob开发者服务平台技术副总监林荣波、宜信技术研发中心高级架构师王东及商助科技(99Click)顾问总监郑泉五位讲师,分别针对时下热门的HTAP数据库TiDB、去ETL化的IOTA架构、数据工厂架构、实时敏捷大数据理念实践 ...
分类:
其他好文 时间:
2018-06-07 19:35:44
阅读次数:
170