首先我们可以看看大数据岗位的能力要求 一 大数据工程师岗位要求 公司A: 公司B: 二 在面试岗位前，我们必然要经历岗位考核，而考核的内容主要以数据结构和算法为主。 基础算法学习网站如下： https://leetcode.com https://visualgo.net/en 三. 接下来是技能要 ...
分类：
其他好文 时间：
2019-08-16 00:33:18
阅读次数：
155
rediscluster单机伪分布式搭建---3主3从3哨兵集群最近公司引进微服务框架,之前的一台redis的预存60G已经无法满足现在的260G业务需要,经过一番考虑搭建了这套集群.为了方便我就用一台服务器演示,生产环境中不建议这么做(没啥用),只为记录一下过程,至于精细化的配置需要在生产中自行研究演示环境[root@localhost~]#cat/etc/redhat-releaseCentO
分类：
其他好文 时间：
2019-08-13 01:01:58
阅读次数：
466
JDK安装 设置hostname 设置机器hosts 创建jdk目录 上传jdk包 打开winSCP工具，通过winscp工具上传java jdk到linux 的/opt/soft文件夹下 解压jdk 将jdk文件解压到module文件夹下,命令如下： 设置jdk的环境变量 在文件末尾添加jdk的环 ...
分类：
其他好文 时间：
2019-08-10 19:18:29
阅读次数：
131
当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我们会遇到很多的问题。为了解决这些性能压力带来问题，我们需要在Web系统架构层面搭建多个层次的缓存机制。在不同的压力阶段，我们会遇到不同的问题，通过搭建不同的服务和架构来解决。 ...
分类：
Web程序 时间：
2019-08-08 23:27:02
阅读次数：
157
一、分布式 集群：多台计算机实现统一业务 分布式：系统与系统之间要通信 集群的服务器不一定是分布式的，分布式的一定是集群 微服务不允许单点部署 服务之间的交互可以用两种方式 RPC RestAPI： 二、分布式思想及其概念 1、高并发 高并发衡量指标： 响应时间 吞吐量： QPS： apache a ...
分类：
编程语言 时间：
2019-08-06 16:58:27
阅读次数：
128
搭建ELK日志分析平台（上）—— ELK介绍及搭建 Elasticsearch 分布式集群 ELK简介： ELK是三个开源软件的缩写，分别为：Elasticsearch 、 Logstash以及Kibana , 它们都是开源软件。不过现在还新增了一个Beats，它是一个轻量级的日志收集处理工具(Ag ...
分类：
其他好文 时间：
2019-08-01 14:39:39
阅读次数：
133
前言 最近在搞hadoop+spark+python,所以就搭建了一个本地的hadoop环境,基础环境搭建地址hadoop2.7.7 分布式集群安装与配置 本篇博客主要说明,如果搭建spark集群并集成到hadoop 安装流程 安装spark需要先安装scala 注意在安装过程中需要对应spark与 ...
分类：
其他好文 时间：
2019-07-24 19:14:56
阅读次数：
88
一. 认证的发展历程简介 这里真的很简单的提一下认证的发展历程。以前大都是采用cookie、session的形式来进行客户端的认证，带来的结果就是在数据库上大量存储session导致数据库压力增大，大致流程如下： 在该场景下，分布式、集群、缓存数据库应运而生，认证的过程大致如下： 不过该方式还是缓解 ...
分类：
其他好文 时间：
2019-07-21 01:27:02
阅读次数：
131
为方便用户快速体验，SequoiaDB巨杉数据库提供基于Docker的镜像。本文介绍如何在Docker环境下部署SequoiaDB分布式集群环境。集群规划我们准备在五个容器中部署一个多节点高可用SequoiaDB集群。主机名IP分区组部署软件Coord协调节点172.17.0.2:11810SYSCoordSequoiaDB3.2.1Catalog编目节点172.17.0.2:11800SYSCa
分类：
数据库 时间：
2019-07-20 14:27:38
阅读次数：
214
redis5 官网下载地址：https://redis.io/download redis5-Linux安装：https://blog.csdn.net/qq_39135287/article/details/83474865 redis 集群搭建官网文档：https://redis.io/topi ...
分类：
系统相关 时间：
2019-07-10 18:39:42
阅读次数：
159
