Hadoop 分布式系统基础结构 海量数据存储，海量数据计算 Hadoop指的是Hadoop生态圈 Google=》Hadoop GFS->HDFS Map-Reduce->MR BigTable->HBase Hadoop发行版本 Apache：最基础 Cloudera：大型互联网企业 Horto ...
分类：
其他好文 时间：
2020-06-21 23:10:42
阅读次数：
63
去重的配置： DUPEFILTER_KEY = 'dupefilter:%(timestamp)s' DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" 调度器配置： SCHEDULER = "scrapy_redis.schedul ...
分类：
其他好文 时间：
2020-06-21 19:57:44
阅读次数：
53
整理自极客时间MySQL45讲 根据加锁的范围，MySQL里面的锁大致可以分成全局锁、表级锁和行锁三类。 全局锁 全局锁就是对整个数据库实例加锁。MySQL提供了一个加全局读锁的方法，命令是 Flush tables with read lock (FTWRL)。当你需要让整个库处于只读状态的时候， ...
分类：
数据库 时间：
2020-06-21 16:16:02
阅读次数：
73
脚本通过ssh检查大数据环境中各节点的相关实例是否运行正常，包括：zk、hadoop-ha、hdfs、yarn、hbase、hive-metastore、hiveserver2、kafka。 注意修改成自己的集群节点名称及kafka版本 #!/bin/bash # 定义机器名前缀 HN_PREFIX ...
分类：
系统相关 时间：
2020-06-20 16:44:49
阅读次数：
68
MySQL备份，使用xtrabackup备份全实例数据时，会造成锁等待吗？那么如果使用mysqldump进行备份呢？ 一、xtrabackup和mysqldump会造成锁等待吗？ xtrabackup会，它在备份时会产生短暂的全局读锁FTWL(flush table with read lock)， ...
分类：
数据库 时间：
2020-06-18 19:55:12
阅读次数：
95
MySQL每天产生了多大容量的binlog，用SQL语句能查到吗？ 首先，这是个假设性命题（又一个钓鱼题）。 这个需求完全可以通过系统层命令，配合MySQL中的“FLUSH BINARY LOGS”快速完成。 运行SHOW MASTER/BINARY LOGS命令能查看全部binlog列表，但没办法 ...
分类：
数据库 时间：
2020-06-18 19:31:34
阅读次数：
60
Hadoop+Hive+Zookeeper+hbase+kylin环境搭建说明
分类：
其他好文 时间：
2020-06-18 16:08:02
阅读次数：
58
1、mysql cmd进入dos命令，输入mysql -u root -P 1202 -h localhost -p敲回车输入密码 use mysql; 修改用户名root为其他用户 update user set user='rootadmin' where user='root'; 修改完成之后 ...
分类：
数据库 时间：
2020-06-18 10:26:41
阅读次数：
105
zookeeper简介： ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目 ...
分类：
其他好文 时间：
2020-06-17 09:16:36
阅读次数：
76
MySQL已启用了slow query log且long_query_time=0.01，为什么有些慢SQL还是没被记录呢？ 1、在线动态设置long_query_time=0.01，但该设置对当前已建立的连接不会生效。 2、log_slow_admin_statements=0，因此ALTER、C ...
分类：
数据库 时间：
2020-06-16 18:43:04
阅读次数：
86
