前言: 之前有朋友加好友与我探讨一些问题,我觉得这些问题倒挺有价值的;于是就想在本公众号开设一个问答专栏,方便技术交流与分享,专栏名就定为: 《读者来信》 。如遇到本人能力有限难以解决的问题,我将转发该文至我的资源圈尽力寻求大佬们出手帮助,并附上提问者微信二维码,希望给大家提供这样一个互帮互助解决问 ...
分类:
其他好文 时间:
2020-04-06 12:10:46
阅读次数:
97
NoSQL 学名(not only sql) 特点: 存储结构与mysql这一种关系型数据库完全不同,nosql存储的是KV形式 nosql有很多产品,都有自己的api和语法,以及业务场景 产品种类: Mongodb redis Hbase hadoop Nosql和sql的区别 应用场景不同,sq ...
分类:
其他好文 时间:
2020-04-05 15:32:05
阅读次数:
77
1. 所需软件下载链接(建议直接复制链接到迅雷下载更快): ①hadoop-2.7.6.tar.gz: wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz ②zo ...
分类:
其他好文 时间:
2020-04-05 13:34:35
阅读次数:
75
这是个不该踩的坑,被我踩了两天。 启动hbase之后,Hmaster和Hregionserver会自动相继down掉, 于是重新安装了hbase, 但是重新安装hbase之后, 你必须将zookeeper里的/hbase目录和hdfs里的/hbase目录全部删掉! 你必须将zookeeper里的/h ...
分类:
其他好文 时间:
2020-04-05 11:33:59
阅读次数:
83
创建3台虚拟机 主机为桌面版 其他为迷你版本 ******************************常用命令、进程名称****************************启动集群命令: start-all.sh启动zookeeper: zkServer.sh start 启动journal ...
分类:
Web程序 时间:
2020-04-05 00:40:06
阅读次数:
101
一.维度 1.数据模型 数据有多种存储的方式,包括键值对【类似Map】、半结构化的列式存储和文档结构存储。 2.存储模型 内存还是磁盘持久化可以和RDBMS进行比较,它们通常持久化存储数据到磁盘中。即使需要的是纯粹内存模式,也仍旧有其他方案。一旦考虑持久化存储,就需要考虑选择的方案是否影响到访问模式 ...
分类:
其他好文 时间:
2020-04-04 19:00:39
阅读次数:
69
学习了这么久hadoop,都没有搭过集群,是不合格的。这次搭建完,细扣具体的Job运行情况,日志信息,对Hadoop了解更深了。后面也要陆续搭建分布式flume,kafka,hbase,mysql来完成最终的离线批处理分析项目。 搭建步骤 1. 虚拟机环境准备(IP地址、主机名、新用户、防火墙、SS ...
分类:
其他好文 时间:
2020-04-04 15:00:32
阅读次数:
81
hbase报错 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing ...
分类:
Web程序 时间:
2020-04-02 17:59:54
阅读次数:
82
./bin/hdfs zkfc -formatZK 初始安装时初始化zk,在Zookeeper中创建了路径/hadoop-ha/hacluster ./bin/hdfs haadmin -getServiceState master1 查看主节点的状态,是active还是standby ./bin/ ...
分类:
其他好文 时间:
2020-04-01 19:33:47
阅读次数:
55
Hive + HBase,数据实时写Hbase,在Hive中用sql查询
分类:
其他好文 时间:
2020-04-01 14:37:17
阅读次数:
86