广义上来说，Hadoop大数据平台也可以看做是新一代的数据仓库系统， 它也具有很多现代数据仓库的特征，也被企业所广泛使用。因为MPP架构的可扩展性，基于MPP的数据仓库系统有时候也被划分到大数据平台类产品。 但是数据仓库和Hadoop平台还是有很多显著的不同。针对不同的使用场景其发挥的作用和给用户带 ...
分类：
其他好文 时间：
2018-07-07 20:54:38
阅读次数：
173
本文主要讲解kafka日常运维的命令，包括topic管理、性能测试脚本。 kafka版本0.10.0，安装步骤见 "大数据平台搭建 kafka集群的搭建" 常用脚本 如下所有的命令均基于 ,服务器列表如下： 10.20.112.59 10.20.112.64 10.20.112.65 10.20.1 ...
分类：
其他好文 时间：
2018-07-04 20:10:10
阅读次数：
366
本文来自 "腾讯云技术沙龙" ，本次沙龙主题为 "在线教育个性化教学技术实践" 演讲嘉宾：谭安林，腾讯高级工程师。2015年加入腾讯，8年互联网从业经历，从事大数据平台与产品开发相关工作；先后参与广告、金融等领域产品项目，目前负责行为预测解决方案，帮助客户盘活现有客群、挖掘潜在高价值新客。目前我们的 ...
分类：
其他好文 时间：
2018-07-03 12:00:33
阅读次数：
218
之前分享的一篇关于智慧人社的大数据应用，也仅仅是简单的说了一下当前智慧人社建设中所面临以及要解决的问题。这篇算是补上那篇欠缺的内容吧，把智慧人社大数人力资源据解决方案的大数据平台搭建、技术架构、数据可视化等几个方面的内容给朋友分享一下。
分类：
其他好文 时间：
2018-06-28 14:02:21
阅读次数：
150
之前分享的一篇关于智慧人社的大数据应用，也仅仅是简单的说了一下当前智慧人社建设中所面临以及要解决的问题。这篇算是补上那篇欠缺的内容吧，把智慧人社大数人力资源据解决方案的大数据平台搭建、技术架构、数据可视化等几个方面的内容给朋友分享一下。
分类：
其他好文 时间：
2018-06-28 13:42:07
阅读次数：
184
一、背景介绍 最近几天，接到公司的一个将当前大数据平台数据全部迁移到阿里云ODPS平台上的任务。而申请的这个ODPS平台是属于政务内网的，因考虑到安全问题当前的大数据平台与阿里云ODPS的网络是不通的，所以不能使用数据采集工作流模板。 然而，考虑到原大数据平台数据量并不是很大，可以通过将原大数据平台 ...
分类：
其他好文 时间：
2018-06-27 18:58:59
阅读次数：
239
课程链接：Hadoop大数据平台架构与实践--基础篇 1.MapReduce原理 分而治之，一个大任务分成多个小的子任务（map），并行执行后，合并结果（reduce） 问题1:1000副扑克牌少哪一张牌（去掉大小王） 问题2:100GB的网站访问日志文件，找出访问次数最多的IP地址 ...
分类：
其他好文 时间：
2018-06-21 22:31:29
阅读次数：
202
根据太保家园项目的最终目标，在一期建设中，需要将太平洋保险集团下属的寿险，产险，车险等30多个核心系统数据，通过实时同步复制的方式，统一集中到大数据平台。其中涉及数据的转换，标化，清洗，去重等一系列过程，具体需求如下：
1、 需要将核心数据从30多个系统同步到大数据平台的kafka组件。
2、 确保数据复制的实时性（秒级）和数据的准确性
3、 复制的数据需要加上时间，操作类型等标签，便于后端应用识别
4、 以生产环境的dg库作为数据的汇聚源端，减轻对生产库的影响
5、 入kafka的数据格式可灵活配置，以便更好的适配后端应用
6、 需要具备数据操作统计和数据比对功能，便于核对数据的准确性
分类：
数据库 时间：
2018-06-13 15:14:53
阅读次数：
1371
在企业里快速搭建大数据平台除了Ambria外还可以用ClouderaManager，这两种工具相对于纯手工搭建确实便捷很多，但是有利也有弊，相对于新手来说就不便于掌握内部原理，不好排错等,而纯手工搭建，出错较多，不容易成功。一.规划：192.168.3.201server/agentmysql192.168.3.202agentnamenode192.168.3.203agentnamenode（
分类：
其他好文 时间：
2018-06-13 15:07:12
阅读次数：
299
cdh5.14.2中集成安装kylin与使用测试标签（空格分隔）：大数据平台构建一：kylin简介二：安装配置kylin三：kylin运行实例一：kylin简介ApacheKylin?是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBayInc.开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。kylin软件下
分类：
其他好文 时间：
2018-06-11 23:41:21
阅读次数：
994
