0.机器准备 准备4台测试笔记本用于做服务器（装上CentOS6.5_x86_64系统）作部署集群。 配置每台机器上的/etc/hosts文件，例如： [root@slave3 ~]$ sudo vi /etc/hosts 192.168.110.1 master 192.168.110.2 sla ...
分类：
其他好文 时间：
2017-03-08 13:55:52
阅读次数：
426
NoSQL不是不用SQL，是Not only SQL，不仅仅是结构化的查询。 NoSQL兴起的原因 在Web2.0时代新浪一分钟可以发送两万条微博，苹果可以下载4.7万次应用。 数据的高并发性，同时有90万次的查询向百度的服务器提出了搜索要求。还有高扩展性，Web应用千变万化，可能对字段的需求在不断 ...
分类：
数据库 时间：
2017-02-24 15:23:49
阅读次数：
197
在大规模的数据当中，需要分发任务，需要进行分布式的并行编程。Hadoop这样一种开源的大数据分析平台。 Map阶段 Reduce阶段：相同的键把它聚集到一起之后，然后通过Reduce方式把相同的键聚集的元素进行某种运算。比如说累加运算，比如说累乘运算。 两个步骤：一、输入数据，一行一行；二、产生键值 ...
分类：
其他好文 时间：
2017-02-23 20:54:22
阅读次数：
169
今天给大家介绍的内容主要包括以下四个部分首先是介绍一下美团大数据平台的架构，然后回顾一下历史，看整个平台演进的时间演进线，每一步是怎么做的，以及一些挑战和应对策略，最后总结一下，聊一聊我对平台化的看法。谢语宸是来自美团的大数据构建平台的架构师。他在QCon2016..
分类：
其他好文 时间：
2017-02-21 19:57:24
阅读次数：
4344
2017 年 1 月 14、15日，为期 2 天的 ECUG Con 十周年大会在深圳圆满结束，会上七牛云 CEO 许式伟做了题为《七牛大数据平台建设实践》的演讲，首次披露七牛云在大数据方向的产品思路，以下是对他本次的演讲实录。 许式伟 七牛云创始人、CEO 从连接到智能 我们都说现在是移动互联网时 ...
分类：
其他好文 时间：
2017-02-16 14:02:36
阅读次数：
265
对于日志收集统计分析方案现在主流的有ELKrediskafkaflume+大数据平台，ELK我们以后再介绍，这里先简单介绍下rsyslog对接kafkakafka中的术语BrokerKafka集群包含一个或多个服务器，这种服务器被称为brokerTopic每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（..
分类：
其他好文 时间：
2017-02-13 14:20:27
阅读次数：
876
摘要： 在阿里巴巴在线在线技术峰会上的第三天，来自阿里云高级技术专家李金波为大家题为《企业大数据平台仓库架构建设思路》。本次分享中，李金波主要从总体思路、模型设计、数加架构、数据治理四个方面介绍了如何利用大数据平台的特性，构建更贴合大数据应用的数据仓库。 本文根据阿里云高级技术专家李金波在首届阿里巴 ...
分类：
其他好文 时间：
2017-02-07 12:20:52
阅读次数：
169
目录： 什么是大数据 Hadoop介绍-HDFS、MR、Hbase 大数据平台应用举例-腾讯 公司的大数据平台架构 “就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式……”。 大数据的4V特征-来源 公司的“大数据” 随着公司业务的增长，大量和 ...
分类：
其他好文 时间：
2017-01-13 12:47:46
阅读次数：
272
研发环境下搭建了一套基于CDH5的大数据平台。在重启服务器后发现HBase组件启动异常，如图HBaseMaster运行状况不良RegionServer运行状况不良所有的RegionServer角色全部停止，启动时报错。查看角色日志Masterrejectedstartupbecauseclockisoutofsync
org.apache.hadoop.hbase.Cl..
分类：
其他好文 时间：
2016-12-05 02:55:00
阅读次数：
408
本文是58同城信息系统部高级经理余中洋对大数据在互联网行业应用的总结。以实际经验讲解了大数据从雏形到发展，以及发展过程中传统数据仓库到大数据平台的转化和大数据的可视化应用。
分类：
其他好文 时间：
2016-11-30 17:29:34
阅读次数：
114
