hadoopd的sbin目录的脚本 一、服务相关的一些脚本 开启一个软件： 1、hadoop-daemon.sh start namenode 2、hadoop-daemon.sh start datanode 3、hadoop-daemon.sh start secondarynamenode （ ...
分类：
其他好文 时间：
2020-02-25 18:14:39
阅读次数：
74
Dubbo 概述 Dubbo 产生的背景 随着互联网项目用户量的急剧增长，访问并发量的陡然增加，一个应用中所有的功能都集中于一个项目中，已经完全不能满足需要了，系统性能急需提升。提升性能的最直接的方式是构建集群，构建具有负载均衡功能的集群。但仅仅依靠增加具有相同业务功能的主机来提高系统的性能，能力是 ...
分类：
其他好文 时间：
2020-01-18 14:35:09
阅读次数：
76
1，什么是redis?redis是开源的、用c语言编写的，非关系型、 存储结构为Key-Value的数据库 2，redis的数据类型 String,List,Hash,Set,Sorted Set 3,使用redis有哪些好处？ ①数据存在内存中，读取速度快 ②支持丰富数据类型，支持string，l ...
分类：
其他好文 时间：
2020-01-17 21:29:26
阅读次数：
115
目前参与的项目也已经上线了，业务性比较复杂并且涉及的系统比较多，但是单说技术，没什么亮点，SpringBoot、Elastic-Job（还是未分布式部署）、Shiro等，但是在开发期间还遇到了很多问题，比如：报文如何实现统一加解密并且验签？还有一个让我头疼很久的问题：Transactional注解失 ...
分类：
其他好文 时间：
2020-01-13 12:26:47
阅读次数：
95
简介：由于考虑到项目后期分布式部署，所以缓存由ehcache改为redis，而redis既有单机版部署，也有分布式部署，所以二者需要兼容。 1. maven依赖 <dependency> <groupId>org.crazycake</groupId> <artifactId>shiro-redis ...
分类：
编程语言 时间：
2020-01-11 09:48:42
阅读次数：
225
爬虫学习 17.基于scrapy redis两种形式的分布式爬虫 redis分布式部署 1.scrapy框架是否可以自己实现分布式？ 不可以。原因有二。 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一 ...
分类：
其他好文 时间：
2020-01-10 22:14:46
阅读次数：
103
1、引入业务场景 业务场景一出现： 因为小T刚接手项目，正在吭哧吭哧对熟悉着代码、部署架构。在看代码过程中发现，下单这块代码可能会出现问题，这可是分布式部署的，如果多个用户同时购买同一个商品，就可能导致商品出现 库存超卖 (数据不一致) 现象，对于这种情况代码中并没有做任何控制。 原来一问才知道，以 ...
分类：
其他好文 时间：
2020-01-09 22:32:10
阅读次数：
110
大多数互联网系统都是分布式部署的，分布式部署确实能带来性能和效率上的提升，但为此，我们就需要多解决一个分布式环境下，数据一致性的问题。 当某个资源在多系统之间，具有共享性的时候，为了保证大家访问这个资源数据是一致的，那么就必须要求在同一时刻只能被一个客户端处理，不能并发的执行，否者就会出现同一时刻有 ...
分类：
其他好文 时间：
2019-12-28 20:37:22
阅读次数：
70
1.安装hadoop的hdfs伪分布式部署2.hadoop fs常规命令3.配置文件在官方哪里找 4.整理 jdk、ssh、hosts文件 1.安装hadoop的hdfs伪分布式部署 1.1 创建用户和目录 [root@aliyun ~]# useradd hadoop [root@aliyun ~ ...
分类：
其他好文 时间：
2019-11-28 13:20:10
阅读次数：
89
参考并做个记录。 高并发主要就是为了提高QPS,降低RT。并且同时保证数据的正确性、系统的可用性就OK了。 1、网站并发量上来了？啥都不要管，先扩容，堆机器。机器多了自然需要集群技术、负载均衡了。（提升QPS） 2、机器多了也扛不住了？服务拆分，把集中式部署改成分布式部署。（提升QPS） 3、分布式 ...
分类：
其他好文 时间：
2019-11-27 22:00:04
阅读次数：
140
