Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： Spark提供了一个全面、统 ...
分类：
其他好文 时间：
2019-10-02 00:18:24
阅读次数：
145
前言 Apache Flink（下简称Flink）项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统开发者也能有所裨益。本文假设读者已对Map ...
分类：
其他好文 时间：
2019-09-16 00:08:39
阅读次数：
81
一、大数据的计算模式在日常生活中，我们通常会先把数据存储在一张表中，然后再进行加工、分析，这里就涉及到一个时效性的问题。如果我们处理以年、月为单位的级别的数据，那么多数据的实时性要求并不高；但如果我们处理的是以天、小时，甚至分钟为单位的数据，那么对数据的时效性要求就比较高。在第二种场景下，如果我们仍旧采用传统的数据处理方式，统一收集数据，存储到数据库中，之后在进行分析，就可能无法满足时效性的要求。
分类：
其他好文 时间：
2019-09-09 21:04:16
阅读次数：
108
安森，个推CTO毕业于浙江大学，现全面负责个推技术选型、研发创新、运维管理等工作，已带领团队开发出针对移动互联网、金融风控等行业的多项前沿数据智能解决方案。曾任MSN中国首席架构师，拥有十余年资深技术开发与项目管理经验，在大数据处理系统、大规模并发平台、分布搜索系统、手机应用开发、无线通信领域和智慧金融系统等领域拥有丰富实践经验。引言中国移动互联网的发展见证了中国大数据行业的蓬勃发展。数据智能作为
分类：
其他好文 时间：
2019-08-08 00:24:57
阅读次数：
107
概述 目前大数据存储有两种方案可供选择：行存储（Row-Based）和列存储（Column-Based）。业界对两种存储方案有很多争持，集中焦点是:谁能够更有效地处理海量数据，且兼顾安全、可靠、完整性。从目前发展情况看，关系数据库已经不适应这种巨大的存储量和计算要求，基本是淘汰出局。在已知的几种大数... ...
分类：
其他好文 时间：
2019-08-07 17:39:20
阅读次数：
143
作者|影姿关于大数据是什么，从一开始仅仅只想做数据，到开始意识到自己做的是对整个集团有核心意义的数据产品，再到走到外面，把数据能力对外输出，所有过程中，不断的有客户问到这个问题，有懵懂的、有善意的、也有挑衅的、不屑的。就像大数据本身一样，混乱又带有迷幻色彩。现在对大数据的理解有两种极端：站在大数据的风口，很多人觉得大数据是未来，可以解决所有问题，包括人工智能；我自己不用想，大数据已经替我想好决定好
分类：
其他好文 时间：
2019-07-23 13:39:36
阅读次数：
115
Hadoop和大数据是这两年最火的词儿们之一，越来越多的公司对这个东西感兴趣，但是我接触到的大多数公司里的人，无论是技术人员还是老板。都不知道怎么能把这些东西用于改善自己公司的业务。在解答的过程中，提炼出几个要点，记录一下。大数据和云是不是一回事？这是最容易混淆的概念之一，我个人认为这是两回事，云服务，无论是云主机还是云存储还是云的其他应用，都是向用户提供一个接口，但这个接口的后端是虚拟机技术，或
分类：
其他好文 时间：
2019-07-10 14:49:09
阅读次数：
116
什么是Apache Storm Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具有最高的摄取率。虽然Storm是无状态的，它通过Apache ZooKeeper管理分布式环境和集群状态。通过Storm可以并行地对实 ...
分类：
Web程序 时间：
2019-07-07 14:55:25
阅读次数：
186
我有过阿里、腾讯、滴滴、宜信等等的面试经历，这是我死的最惨的一次，腾讯排第二。 如下问题： 1.你觉得大数据生态圈从技术角度来看，未来会朝什么方向发展？ 1.2.大数据处理的时候为什么选择spark而不是hadoop 答：1.spark是内存计算的，而hadoop是磁盘计算的，所以spark比had ...
分类：
其他好文 时间：
2019-07-07 12:58:51
阅读次数：
287
一、大数据处理流程 1.1 数据收集 1.2 数据存储 &n ...
分类：
其他好文 时间：
2019-07-04 17:33:35
阅读次数：
133
