大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。我们可以带着下面问题来阅读本文章：1.h ...
分类：
其他好文 时间：
2017-06-20 12:29:59
阅读次数：
174
2 分布式系统概述 注：由于大数据技术领域的各类技术框架基本上都是分布式系统，因此，理解hadoop、storm、spark等技术框架，都需要具备基本的分布式系统概念 2.1 分布式软件系统(Distributed Software Systems) ² 该软件系统会划分成多个子系统或模块，各自运行 ...
分类：
其他好文 时间：
2017-06-17 14:23:06
阅读次数：
185
6月13日，摩拜智能共享单车进军英国市场，选取英国曼彻斯特作为摩拜第100个运营城市，而且同步进入毗邻曼市的索尔福德。曼彻斯特也是摩拜进驻的首个非亚洲地区的运营城市，运营前期先会投放1000辆小橙车，之后将不断增加投放数量，从而满足英国市民的出行需求。 行业内另一家单车企业ofo小黄车早就宣称进入了 ...
分类：
其他好文 时间：
2017-06-14 18:07:28
阅读次数：
218
一、概述 近年来，大数据技术如火如荼，怎样存储海量数据也成了当今的热点和难点问题，而HDFS分布式文件系统作为Hadoop项目的分布式存储基础，也为HBASE提供数据持久化功能，它在大数据项目中有很广泛的应用。 Hadoop分布式文件系统(Hadoop Distributed File System ...
分类：
编程语言 时间：
2017-06-14 14:20:06
阅读次数：
275
证券行业是中国计算机应用高度密集的行业之一，如何利用好各项数据是券商摆脱低层次的同质化竞争，走向差异化服务优势的重要途径。那么以数据为基础，通过数据分析指导服务和决策就显得尤为重要。 ...
分类：
其他好文 时间：
2017-06-14 13:14:35
阅读次数：
203
分布式编程中，网络中各个节点的数据同步，数据一致性保障，事务控制，容错控保障等都需要一个稳定可靠的协调服务。Zookeeper则是分布式程序中使用最广泛的协调服务技术。从前面的kafka，storm，ignite使用文章中我们可以看到，Zookeeper广泛用于这些方分布式大数据技术的节点选举以及数 ...
分类：
其他好文 时间：
2017-06-11 00:20:31
阅读次数：
246
本节书摘来自华章出版社《Spark大数据分析：核心概念、技术及实践》一书中的第1章，第1节，作者穆罕默德·古勒（Mohammed Guller）更多章节内容可以访问云栖社区“华章计算机”公众号查看。 大数据技术一览 我们正处在大数据时代。数据不仅是任何组织的命脉，而且在指数级增长。今天所产生的数据比 ...
分类：
其他好文 时间：
2017-05-22 16:35:51
阅读次数：
246
我们正处于福雷斯特研究公司所描述的“用户时代”，这个时代中驱动业务决策的不再是公司，而是用户。基于这个原因，深度理解用户的重要性已经远胜以往，因此许多机构开始使用大数据技术来挖掘用户信息。 在这个时代，企图收获成功(甚至是求生存)的在线业务必须切实的理解顾客的体验和行为，因此海量数据的收集及挖掘能力... ...
分类：
其他好文 时间：
2017-05-17 17:21:22
阅读次数：
253
从1991年Tim Berners-Lee发明了万维网（World Wide Web）开始，到20年后2011年，互联网真正走向了一个新的里程碑，进入了“大数据时代”。经历了12、13两年热炒之后，人们逐渐冷静下来，更加聚焦于如何利用大数据挖掘潜在的商业价值，如何在企业中实实在在的应用大数据技术。伴 ...
分类：
其他好文 时间：
2017-05-16 17:58:28
阅读次数：
383
近几年，信息时代的快速发展产生了海量数据，诞生了无数前沿的大数据技术与应用。在当今大数据时代的产业界，商业决策日益基于数据的分析作出。当数据膨胀到一定规模时，基于机器学习对海量复杂数据的分析更能产生较好的价值，而深度学习在大数据场景下更能揭示数据内部的逻辑关系。本文就以大数据作为场景，通过自底向上的 ...
分类：
其他好文 时间：
2017-05-13 12:32:42
阅读次数：
497
