1、数据集,某宝数据。 下载数据后,利用kettle将文本文件导入mysql数据库。数据time从 2014-11-18 00到2014-12-18 23。包含如下字段: item_id(产品ID),behavior_type(包含点击、收藏、加购物车、购买四种行为,分别用数字1、2、3、4表示), ...
分类:
其他好文 时间:
2019-11-19 01:18:17
阅读次数:
65
环境介绍 | tuge1 | tuge2 | tuge3 | tuge4 | | | : | | | | NameNode | NameNode | DataNode | DataNode | | ZooKeeper | ZooKeeper | ZooKeeper | ZooKeeper | | | ...
分类:
其他好文 时间:
2019-11-18 18:31:53
阅读次数:
80
大数据从入门到入土 语言基础:java(Java se,javaweb) Linux 基础:Linux(shell,高并发架构,lucene,solr) 框架学习:Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume) ...
分类:
其他好文 时间:
2019-11-16 21:47:53
阅读次数:
107
zookeeper简介 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 使用案例 dubbo、d ...
分类:
其他好文 时间:
2019-11-16 17:19:04
阅读次数:
52
Hbase是一个分布式的、面向列的开源数据库,可实时的读写、随机访问超大规模的数据集。 Hbase主要分为两种模型: 逻辑模型和物理模型 1. 逻辑模型 Hbase的名字的来源是Hadoop database,即为Hadoop数据库,从用户的角度来考虑,就是如何使用Hbase。 2. 物理模型 主要 ...
分类:
其他好文 时间:
2019-11-16 10:52:28
阅读次数:
70
Hbase2.0查询优化 1)设置scan缓存 HBase中Scan查询可以设置缓存,方法是setCaching(),这样可以有效的减少服务端与客户端的交互,更有效的提升扫描查询的性能。 2)显示的指定列 当使用Scan或者GET获取大量的行时,最好指定所需要的列,因为服务端通过网络传输到客户端,数 ...
分类:
其他好文 时间:
2019-11-15 15:46:24
阅读次数:
65
1 下载pinpoint git clone https://github.com/naver/pinpoint.git git switch 1.8.5 2 安装hbase:见上篇随笔 3 导入hbase初始数据 [root@zkslave2 bin]# ./hbase shell /tmp/in ...
分类:
其他好文 时间:
2019-11-14 23:45:23
阅读次数:
129
2017年开始阿里HBase走向公有云,我们有计划的在逐步将阿里内部的高可用技术提供给外部客户,目前已经上线了同城主备,将作为我们后续高可用能力发展的一个基础平台。本文分四个部分回顾阿里HBase在高可用方面的发展:大集群、MTTF&MTTR、容灾、极致体验,希望能给大家带来一些共鸣和思考。 大集群 ...
分类:
其他好文 时间:
2019-11-13 14:37:35
阅读次数:
72
创业之初,我们往往会为了快速迭代出产品,而选择最简单的技术架构,比如LAMP架构,SSH三层架构。这些架构可以适应初期业务的快速发展,但是,随着业务变得越来越复杂,我们会发现这些架构越来越难支撑业务的发展,出现在一个类中写好几千行代码,一个方法中到处都是if else语句,如果中间遇到主程序猿离职,后面介入的程序猿几乎无法理解这些代码,到最后,产品越来越难迭代,只能推翻重做。如果我们在创业初始就以一种适应性较强的架构去写代码,后面就会少走很多弯路。下面的文章是我自己总结出来的一套架构,经过实践,适应性还算不错。
分类:
其他好文 时间:
2019-11-10 10:28:17
阅读次数:
78
kafka bin/kafka-server-start.sh config/server.properties & Hbase bin/hbase-daemon.sh start master bin/hbase-daemon.sh start regionserver Hbase 默认端口 16 ...
分类:
其他好文 时间:
2019-11-09 13:47:12
阅读次数:
75