本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。 在互联网时代被弱化的数据模型 谈起数据模型就不得不提传 ...
分类：
其他好文 时间：
2016-04-18 11:24:10
阅读次数：
297
鉴于目前大数据Hadoop 2.x被企业广泛使用，在实际的企业项目中需要更加深入的灵活运用,并且Hadoop 2.x是大数据平台处理 的框架的基石，尤其在海量数据的存储HDFS、分布式资源管理和任务调度YARN及分布式计算框架MapReduce。然而当前众多书籍和 视频教程资料中,没有一套完整的、深 ...
分类：
其他好文 时间：
2016-04-12 07:09:48
阅读次数：
373
本项目主要讲解了一套应用于互联网电商企业中，使用Java、Spark等技术开发的大数据统计分析平台，对电商网站的各种用户行为（访问行为、页面跳转行为、购物行为、广告点击行为等）进行复杂的分析。用统计分析出来的数据，辅助公司中的PM（产品经理）、数据分析师以及管理人员分析现有产品的情况，并根据用户行为 ...
分类：
其他好文 时间：
2016-04-12 00:03:28
阅读次数：
299
Apache Hadoop Hadoop现在已经进入第二个10年发展期了, 但不可否认的是, Hadoop在2014年出现了井喷式发展, 由于Hadoop从测试集群向生产和软件供应商方向不断转移, 其越来越接近于分布式存储和处理机架构, 因此, 这一势头在2015年会更加猛烈。由于大数据平台的强大, ...
分类：
其他好文 时间：
2016-04-11 22:28:37
阅读次数：
225
淘宝异构数据源数据交换工具 DataX DataX是什么? DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem）之间的数据交换，由淘宝数据平台部门完成。 DataX用来解决什么? 目前成熟的数据导入导出工 ...
分类：
其他好文 时间：
2016-04-06 10:59:44
阅读次数：
212
原文名称：7 tools to fire up Spark's big data engine
Spark正在数据处理领域卷起一场风暴。让我们通过本篇文章，看看为Spark的大数据平台起到推波助澜的几个重要工具。
Spark生态系统众生相
Apache Spark不仅仅让大数据处理起来更快，还让大数据处理起来更简单、功能更强大、更方便。Spark并非只是一...
分类：
其他好文 时间：
2016-04-05 16:21:07
阅读次数：
155
继发力认知商业和认知计算后，IBM的大数据与分析业务也将在中国市场逐一落地，为中国企业、开发者以及软件开发商等，搭起一个 “淘宝”式超级数据平台。...
分类：
其他好文 时间：
2016-04-01 18:43:44
阅读次数：
132
转自：http://chuansong.me/n/1208635 动机 在业务系统开发的初期，我们往往只关注到核心逻辑，而忽略了对系统本身的监控。运维同学提供的ZENOSS(ganglia)能很好的满足了我们对硬件资源(IO、cpu负载、内存、load、连接数等)的监控。但介于核心功能与硬件指标之间
分类：
其他好文 时间：
2016-03-09 19:04:20
阅读次数：
352
这里讲解下用户画像的技术架构和整体实现，那么就从数据整理、数据平台、面向应用三个方面来讨论一个架构的实现（个人见解）。 数据整理： 1、数据指标的的梳理来源于各个系统日常积累的日志记录系统，通过sqoop导入hdfs,也可以用代码来实现，比如spark的jdbc连接传统数据库进行数据的cache。还
分类：
其他好文 时间：
2016-02-27 13:42:36
阅读次数：
138
Zookeeper服务安装之后，一般会在这个服务的基础之上安装其他的大数据平台，其他的框架一般会提供很多接口对Zookeeper中的内容进行一定的操作，但是功能相对单一，所以有些时候，有必要我们自己登录Zookeeper服务器，对里面的文件结构有一定的了解，这样的话使用起来也比较方便，下面就简单总结
分类：
其他好文 时间：
2016-02-26 16:56:47
阅读次数：
20787
