文件系统 HDFS Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。 GlusterFS 是一个集群的文件系统,支持PB级的数据量 ...
分类:
其他好文 时间:
2020-05-05 18:09:27
阅读次数:
70
redis redis数据结构 String hash list set zset(sorted set) 一个redis实例最多提供16个数据库0 15,默认连接0,select i选择i号数据库 redis的应用场景 缓存(数据查询、短连接、新闻内容、商品内容) 聊天室的好友列表 任务队列(秒杀 ...
分类:
其他好文 时间:
2020-05-05 17:44:39
阅读次数:
76
前两天跟大家分享了一篇关于如何利用FastDFS组件来自建分布式文件系统的文章,有兴趣的朋友可以阅读下《 "用asp.net core结合fastdfs打造分布式文件存储系统" 》。通过留言发现大家虽然感兴趣,但是都觉得部署比较麻烦。的确,fastdfs的部署很繁琐,而且也没有官方提供的针对.net ...
分类:
其他好文 时间:
2020-05-05 12:52:10
阅读次数:
357
ELK是由 Elasticsearch、Logstash和Kibana 三部分组件组成。 Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。 Logstash 是一个完全开源的工具, ...
分类:
其他好文 时间:
2020-05-04 21:07:14
阅读次数:
72
LVS-DR模式安装部署 在DR模式中,LVS负载调度器作为集群的访问入口,但是不作为网关使用,服务器中的节点都各自接入Internet,发送给客户机的web响应不经过LVS负载调度器。 这种方式入站、出站数据被分别处理,因此LVS负载调度器和所有的节点都需要配置有VIP地址,以便响应整个群集的访问 ...
分类:
其他好文 时间:
2020-05-04 13:44:03
阅读次数:
63
一、简介 Hadoop是使用Java编写,允许分布在集群,使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 解决的问题: (1)海量数据的存储 [HDFS] (2)海量数据的分析 [MapReduce] (3)资源管理调度 [YARN] 二、hadoop架构 在其核心,Hadoop ...
分类:
其他好文 时间:
2020-05-03 10:26:41
阅读次数:
66
十、nginx反向代理负载均衡 (一)LNMP架构迁移数据库说明 迁移数据库:利用数据库备份命令(mysql mysqladmin mysqldump) 1) 备份数据库数据库信息 2) 恢复数据库数据库信 第四里程:在负载均衡服务器上,进行测试访问 ②. 部署负载均衡服务器 第一个里程:安装部署n ...
分类:
系统相关 时间:
2020-05-03 01:23:16
阅读次数:
100
一.Docker简介 二.docker安装(Centos和Ubuntu) ...
分类:
其他好文 时间:
2020-05-02 16:55:19
阅读次数:
47
一、修改网关1、进入配置文件cd /etc/sysconfig/network-scripts/vi ifcfg-eno167777362、按照以下修改#要修改的数据BOOTPROTO=static ### 手动设置IP#UUID=... ### 注释掉UUID方便后面clone虚拟机IPADDR= ...
分类:
系统相关 时间:
2020-05-02 09:47:09
阅读次数:
130
1.zookeeper的安装 2.kafka的安装 2.1 从http://kafka.apache.org/ 获得Kafka的安装包,拷贝安装包并解压安装包 tar –zxvf kafka_2.10-0.8.1.1.tgz 2.2 编辑修改配置文件 vi config/server.propert ...
分类:
其他好文 时间:
2020-05-02 00:08:03
阅读次数:
50