在CDH5.14.2中启用kudu的配置标签(空格分隔):大数据平台构建一:系统平台介绍二:安装kudu的集成一:系统平台介绍1.1.关于kudu的介绍Kudu是Cloudera开源的新型列式存储系统,是ApacheHadoop生态圈的新成员之一(incubating),专门为了对快速变化的数据进行快速的分析,填补了以往Hadoop存储层的空缺。 Hadoop生态系统有很多组件,每一个组件有不同
分类:
其他好文 时间:
2018-06-11 14:47:12
阅读次数:
624
在CDH5.14.2中安装Phoenix与使用标签(空格分隔):大数据平台构建一:安装及配置Phoenix二:Phoenix的基本操作三:使用Phoenixbulkload数据到HBase四:使用Phoenix从HBase中导出数据到HDFS一:安装及配置Phoenix1.0:phoienx的介绍Phoenix中文翻译为凤凰,其最早是Salesforce的一个开源项目,Salesforce背景是一
分类:
其他好文 时间:
2018-06-10 21:35:17
阅读次数:
1509
大数据的定义 1. 大数据是一门以Hadoop为代表的开源大数据平台框架上进行各种数据分析的技术。 2. 具体说,大数据平台基础框架包括了Hadoop和Spark为代表的基础大数据框架。 3. 具体说,各种数据分析技术包括实事数据处理技术、离线处理技术;数据分析、数据挖掘和用机器算法进行预测分析等技 ...
分类:
其他好文 时间:
2018-06-04 22:36:09
阅读次数:
150
昨天(5月28号)由社科文献出版社初版的《大数据蓝皮书:中国大数据发展报告No.2》正式发布了。以“数化万物智在融合”为主题的中国国际大数据产业博览会也京举行中。基本可以预见,在接下来的一段时期内关于大数据应用开发又将进入到一个新的阶段。现在市面上围绕大数据的应用开发如火如荼,比如,企业级大数据处理平台开发、政务大数据平台的开发、智慧交通大数据平台开发等。这些大数据处理平台的开发从技术角度上来说都
分类:
其他好文 时间:
2018-05-31 15:31:30
阅读次数:
154
最近测试产品需要与splunk对接,顺便就安装了splunk的环境,并使用了一下。splunk是一款可以收集,索引和利用任何数据的“大数据平台”。如今互联网的普及,数据是一个大爆发的时代,对于应用程序和系统来讲会产生各种各样的数据,其中很重要的一类数据就是“LOG”。一个商店的售卖情况会产生log,一个linux系统会产生log,一个应用服务器会产生log,这些log有着自己独特的意义价值,售卖情
分类:
其他好文 时间:
2018-05-31 02:36:24
阅读次数:
128
从3月份到现在2个月过去了,整个数据平台从0到1,算是有了一个基本的样子,跌跌撞撞的勉强支撑起运营的一些基本业务,当然这仅仅是开始,下一步还要从零打造自己的UBS系统,想想都兴奋呢!接下来总结下自己这段时间的得失,以及下一阶段的演化目标 关于产品架构的原则可以查看这里,我分了两篇来写: https: ...
分类:
其他好文 时间:
2018-05-26 23:23:45
阅读次数:
239
一、概述 JSON的全称是”JavaScript Object Notation”,意思是JavaScript对象表示法,它是一种基于文本,独立于语言的轻量级数据交换格式。XML也是一种数据交换格式,为什么没 有选择XML呢?因为XML虽然可以作为跨平台的数据交换格式,但是在JS(JavaScrip ...
分类:
Web程序 时间:
2018-05-23 20:30:43
阅读次数:
329
一、创建Maven项目 创建项目,名称为LogAnalysis 二、常用工具类 2.1 配置管理组建 ConfigurationManager.java 1 import java.io.InputStream; 2 import java.util.Properties; 3 4 /** 5 * ...
分类:
其他好文 时间:
2018-05-21 14:53:09
阅读次数:
213