Hadoop是一个能够对海量数据进行分布式处理的系统架构，主要包含3大块：分布式存储系统HDFS(Hadoop Distributed File System)分布式存储层、分布式计算框架MapReduce分布式计算层、资源管理系统YARN(Yet Another Resource Negotiat... ...
分类：
其他好文 时间：
2020-06-27 11:40:19
阅读次数：
93
数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
PHP原生实现 验证输入数据也很重要，与过滤不同，验证不会从输入数据中删除信息，而只是确认用户输入是否符合预期。如果输入的是电子邮件地址，则确保用户输入的是电子邮件地址；如果需要的是电话号码，则确保用户输入的是电话号码，这就是验证要做的事儿。 验证是为了保证在应用的存储层保存符合特定格式的正确数据， ...
分类：
Web程序 时间：
2020-05-10 00:56:44
阅读次数：
78
任何一个单一的存储器都难以同时完成容量大，速度快，价格便宜的需求，所以这个时候较好的方法是采用存储层次，用多种存储器构成存储器的层次结构。 为什么可以怎么做？有两个理由 1. 局部性原理 2. 加快经常性事件 思路是将经常使用的局部性程序和数据放到更快，更小，但更贵的存储器中 这就需要用采用 量化分 ...
分类：
其他好文 时间：
2020-05-04 21:19:24
阅读次数：
78
1、MyCAT介绍 MyCAT是数据库的中间层，可以帮助我们在高并发场景下的分库分表操作，以提升数据库的整体性能。 MyCAT是基于阿里的Cobar开发，每年双11的高并发场景。 对于数据库工程师来说 MyCAT相当于MySQL SERVER层 MySQL相当于MyCAT测存储层 MyCAT中不存储 ...
分类：
其他好文 时间：
2020-04-26 14:17:30
阅读次数：
66
MySQL优化-MySQL体系结构 三层体系结构： 连接层 SQL层 存储层 关于timeout 通过jdbc等程序连接的是非交互会话。 通过mysql cli客户端连接的是交互会话。 wait_timeout，关闭非交互连接（程序端）之前等待的秒数。默认8h。 interactive_timeou ...
分类：
数据库 时间：
2020-04-09 20:22:44
阅读次数：
95
MYSQL数据库: 插件式的存储引擎架构，将查询处理及其他的系统任务，以及数据的存储提取相分离。可根据也无需求选择相应的存储引擎。 1 连接层 2 服务层 3 引擎层 4 存储层 事务Transaction：一系列操作统称事务； 事务的特性：原子性，一致性，隔离性，持久性 一致性：在事务开始之前和事 ...
分类：
数据库 时间：
2020-03-22 16:14:08
阅读次数：
77
逻辑架构： 1、连接层 2、服务层 3、引擎层(插拔式) 4、存储层 存储引擎： 常用的有：MyISAM、InnoDB 查看命令：show variables like '%storage_engine%'; 索引：【单值、复合】 创建索引：create index idx_user_name(索引 ...
分类：
数据库 时间：
2020-02-27 22:12:20
阅读次数：
146
Redis缓存知识问题缓存穿透：条件：缓存穿透是指查询一个一定不存在的数据，由于缓存是不命中时被动写的，并且出于容错考虑，如果从存储层查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到存储层去查询，失去了缓存的意义。在流量大时，可能DB就挂掉了，要是有人利用不存在的key频繁***我们的应用，这就是漏洞。解决方案：有很多种方法可以有效地解决缓存穿透问题，最常见的则是采用布隆过滤器，将所有
分类：
其他好文 时间：
2020-02-07 20:51:23
阅读次数：
52
基本思想: 拆 面向流程拆分，面向服务拆分，面向功能拆分 面向流程拆分：分层架构 展示层: 负责页面设计 业务层: 负责业务逻辑 数据层: 负责数据访问 存储层: 负责数据存储 面向服务拆分: SOA, 微服务 注册服务，登录服务，信息管理服务，安全设置服务 面向功能拆分: 微内核架构 手机号注册， ...
分类：
其他好文 时间：
2020-02-04 10:22:46
阅读次数：
83
