标签：优化 容量 value 项目 针对 查看 browser php 程序 封装
mysql数据库做分页用limit关键字，它后面跟两个参数startIndex和pageSize
innodb和myisam两个引擎，两者区别是
innodb支持事物，myisam不支持
innodb支持外键，myisam不支持
innodb不支持全文索引，myisam支持全文索引
innodb提供提交、回滚、崩溃恢复能力的事物的安全能力，实现并发控制
myisam提供较高的插入和查询记录的效率，主要用于插入和查询
create index account_index on `table name `(`字段名`(length)
create index account_index on `table name `(`字段名`，‘字段名‘)
创建索引
数据库读写分离，两个数据库，一个作为写，一个作为读
外键去掉
django中orm表性能相关的
select_related：一对多使用，查询主动做连表
prefetch_related：多对多或者一对多的时候使用，不做连表，做多次查询
内连接是根据某个条件连接两个表共有的数据
左连接是根据某个条件以及左边的表连接数据，右边的表没有数据的话则为null
右连接是根据某个条件以及右边的表连接数据，左边的表没有数据的话则为null
视图是已经编译好的sql语句，是基于sql语句的结果集的可视化的表，而表不是
视图是窗口，表示内容
视图没有实际的物理记录，而表有
视图的建立和删除只影响视图本身，不影响对应的表
数据集中控制
数据独立性高
数据共享性好
数据冗余度小
数据结构化
统一的数据保护能力
普通索引：普通索引仅有一个功能：加速查找
唯一索引：唯一索引两个功能：加速查找和唯一约束（可含null）
外键索引：外键索引两个功能：加速查找和唯一约束（不可为null）
联合索引：联合索引是将n个列组合成一个索引，应用场景：同时使用n列来进行查询
存储过程不允许执行return语句，但是可以通过out参数返回多个值，存储过程一般是作为一个独立的部分来执行，存储过程是一个预编译的SQL语句。
简答：
select句中避免使用 ‘*‘
减少访问数据库的次数
删除重复记录
用where子句替代having子句
减少对表的查询
explain
深入：
储存引擎选择：如果数据表需要事务处理，应该考虑使用 InnoDB，因为它完全符合 ACID 特性。如果不需要事务处理，使用默 认存储引擎 MyISAM 是比较明智的
分表分库，主从
对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引
应尽量避免在 where 子句中对字段进行 null 值判断，否则 将导致引擎放弃使用索引而进行全表扫描
应尽量避免在 where 子句中使用 != 或 <> 操作符，否则将 引擎放弃使用索引而进行全表扫描
应尽量避免在 where 子句中使用 or 来连接条件，如果一个 字段有索引，一个字段没有索引，将导致引擎放弃使用索引而进行全 表扫描
Update 语句，如果只更改 1、2 个字段，不要 Update 全部字 段，否则频繁调用会引起明显的性能消耗，同时带来大量日志
对于多张大数据量（这里几百条就算大了）的表 JOIN，要先 分页再 JOIN，否则逻辑读会很高，性能很差。
数据库优化：
1优化索引、SQL 语句、分析慢查询；
设计表的时候严格根据数据库的设计范式来设计数据库；
使用缓存，把经常访问到的数据而且不需要经常变化的数据 放在缓存中，能 节约磁盘 IO；
优化硬件；采用 SSD，使用磁盘队列技术(RAID0,RAID1,RDID5) 等；
采用 MySQL 内部自带的表分区技术，把数据分层不同的文件， 能够提高磁 盘的读取效率；
垂直分表；把一些不经常读的数据放在一张表里，节约磁盘 I/O；
主从分离读写；采用主从复制把数据库的读操作和写入操作 分离开来；
分库分表分机器（数据量特别大），主要的的原理就是数据 路由；
选择合适的表引擎，参数上的优化；
进行架构级别的缓存，静态化和分布式；
不采用全文索引；
采用更快的存储方式，例如 NoSQL 存储经常访问的数
char是固定长度，存储需要空间12个字节，处理速度比vachar快，费内存空间
vachar是不固定长度，需要存储空间13个字节，节约存储空间
mechached：只支持字符串，不能持久化，数据仅存在内存中，宕机或重启数据将全部失效
不能进行分布式扩展，文件无法异步法。
优点：mechached进程运行之后，会预申请一块较大的内存空间，自己进行管理。
redis：支持服务器端的数据类型，redis与memcached相比来说，拥有更多的数据结构和并发支持更丰富的数据操作，可持久化。
五大类型数据：string、hash、list、set和有序集合，redis是单进程单线程的。
缺点：数据库的容量受到物理内存的限制。
sql注入是比较常见的攻击方式之一，针对编程员编程的疏忽，通过sql语句，实现账号无法登陆，甚至篡改数据库。
防止：凡涉及到执行sql中有变量时，切记不要用拼接字符串的方法
触发器是一种特殊的存储过程，主要是通过事件来触发而被执行的，他可以强化约束，来维护数据库的完整性和一致性，可以跟踪数据内的操作从而不允许未经许可的 更新和变化，可以联级运算。
只有表支持触发器，视图不支持触发器
是对查询出来的结果集作为一个单元来有效的处理，游标可以定在该单元中的特定行，从结果集的当前行检索一行或多行，可以对结果集当前行做修改，
一般不使用游标，但是需要逐条处理数据的时候，游标显得十分重要
数值类型（tinyint，int，bigint，浮点数，bit）
字符串类型（char和vachar，enum，text，set）
日期类型（date，datetime，timestamp）
慢查询对于跟踪有问题的查询很有用，可以分析出当前程序里哪些sql语句比较耗费资源
慢查询定义：
指mysql记录所有执行超过long_query_time参数设定的时间值的sql语句，慢查询日志就是记录这些sql的日志。
mysql在windows系统中的配置文件一般是my.ini找到mysqld
log-slow-queries = F:\MySQL\log\mysqlslowquery.log 为慢查询日志存放的位置，一般要有可写权限
long_query_time = 2 2表示查询超过两秒才记录
命中：可以直接通过缓存获取到需要的数据
不命中：无法直接通过缓存获取到想要的数据，需要再次查询数据库或者执行其他的操作，原因可能是由于缓存中根本不存在，或者缓存已经过期
缓存的命中率越高则表示使用缓存的收益越高，应额用的性能越好，抗病发能力越强
运行state命令可以查看memcached服务的状态信息，其中cmd—get表示总的get次数，get—hits表示命中次数，命中率=get—hits / cmd—get
他们都有各自的优点和缺点。考虑到时间因素，我倾向于MySQL
选择MySQL而不选Oracle的原因
MySQL开源
MySQL轻便快捷
MySQL对命令行和图形界面的支持都很好
MySQL支持通过Query Browser进行管理
1.为经常出现在关键字order by、group by、distinct后面的字段，建立索引
2.在union等集合操作的结果集字段上，建立索引，其建立索引的目的同上
3.为经常用作查询选择的字段，建立索引
4.在经常用作表连接的属性上，建立索引
底层用B+数实现，结构图参考：
http://blog.csdn.net/cjfeii/article/details/10858721
http://blog.csdn.net/tonyxf121/article/details/8393545
1.防止sql注入，对特殊字符进行转义，过滤或者使用预编译的sql语句绑定变量
2.最小权限原则，特别是不要用root账户，为不同的类型的动作或者组建使用不同的账户
3.当sql运行出错时，不要把数据库返回的错误信息全部显示给用户，以防止泄漏服务器和数据库相关信息
隔离性：事务的执行不受其他事务的干扰，事务 执行的中间结果对其他事务必须是透明的。
持久性：对于任意已提交事务，系统必须保证该 事务对数据库的改变不被丢失，即使数据库出现故障
一致性：几个并行执行的事务，其执行结果必 须与按某一顺序串行执行的结果相一致。
原子性：事务中的全部操作在数据库中是不 可分割的，要么全部完成，要么均不执行。
服务器突然断电导致数据文件损坏
强制关机，没有先关闭mysq服务器等
drop直接删除表
truncate删除表中数据，再插入时自增长id又从1开始
delete删除表中数据，可以加where子句
第一范式：就是无重复的列
第二范式：就是非主属性非部分依赖于主关键字
第三范式：就是属性不依赖于其他非主属性（消除冗余）
根据锁的类型分：可以分为共享锁、排他锁、意向共享锁和意向排他锁
根据锁的粒度分：可以分为行锁、表锁
对于mysql而言，事务机制更多是靠底层的存储引擎来实现的，因此，mysql层面只有表锁，
而支持事物的innodb存储引起则实现了行锁（在行相应的索引记录上的锁）
说明：对于更新操作（读不上锁），只有走索引才可能上行锁
MVCC（多版本并发控制）并发控制机制下，任何操作都不会阻塞读取操作，
读取操作也不会阻塞任何操作，只因为读不上锁
共享锁：由读表操作加上的锁，加锁后其他用户只能获取该表或行的共享锁，不能获取排他锁，
也就是说只能读不能写
排他锁：由写表操作加上的锁，加锁后其他用户不能获取该表或该行的任何锁，典型mysql事物中的更新操作
意向共享锁（IS）：事物打算给数据行加行共享锁，事物在给一个数据行加共享锁前必须先取得该表的IS锁
意向排他锁（IX）：事物打算给数据行加行排他锁，事物在给一个数据行家排他锁前必须先取得该表的IX锁
1.在数据库安装的时候指定字符集
2.如果在按完了以后可以更改配置文件
3.建立数据库时候：指定字符集类型
4.建表的时候也指定字符集
1.规划
2.需求分析
3.概念模型设计
4.逻辑设计
5.物理设计
6. 程序编制及调试
7.运行及维护
过程是一个可编程的函数，它在数据库中创建并保存。
它可以有 SQL 语句和一些特殊的控制结构组成。
当希望在不同的应用 程序或平台上执行相同的函数，或者封装特定功能时，存储过程是非 常有用的。
数据库中的存储过程可以看做是对编程中面向对象方法的 模拟。它允许控制数据的访问方式。
存储过程通常有以下优点：
存储 能实现较快的执行速度。
存储过程允许标准组件是编程。
存储过程可以用流控制语句编写，有很强的灵活性，可以完成 复杂的判断和较复杂的运算。
存储 可被作为一种安全机制来充分利用。
存储过程能过减少网络流量。
readis 是内存数据库，数据保存在内存中，速度快。 mysql 是关系型数据库，持久化存储，存放在磁盘里面，功能强 大。检索的话，会涉及到一定的 IO，数据访问也就慢。
主从 持久化存储 Redis 不以 root 账户启动 设置复杂密码 不允许 key 方式登录
MongoDB 是一个面向文档的数据库系统。使用 C++编写，不支持 SQL，但有自己功能强大的查询语法。
MongoDB 使用 BSON 作为数据存储和传输的格式。BSON 是一种类 似 JSON 的二进制序列化文档，支持嵌套对象和数组。
MongoDB 很像 MySQL，document 对应 MySQL 的 row，collection 对应 MySQL 的 table 应用场景：
网站数据：mongo 非常适合实时的插入，更新与查询，并具 备网站实时数据存储所需的复制及高度伸缩性。
缓存：由于性能很高，mongo 也适合作为信息基础设施的缓 存层。在系统重启之后，由 mongo 搭建的持久化缓存可以避免下层的 数据源过载。
大尺寸、低价值的数据：使用传统的关系数据库存储一些数 据时可能会比较贵，在此之前，很多程序员往往会选择传统的文件进 行存储。
高伸缩性的场景：mongo 非常适合由数十或者数百台服务器 组成的数据库。
用于对象及 JSON 数据的存储：mongo 的 BSON 数据格式非常 适合文档格式化的存储及查询。
重要数据：mysql，一般数据：mongodb，临时数据：memcache
对于关系数据表而言，mongodb 是提供了一个更快速的视图 view；而对于 PHP 程序而言，mongodb 可以作为一个持久化的数组来 使用，并且这个持久化的数组还可以支持排序、条件、限制等功能。
将 mongodb 代替 mysql 的部分功能，主要一个思考点就是： 把 mongodb 当作 mysql 的一个 view（视图），view 是将表数据整合 成业务数据的关键。比如说对原始数据进行报表，那么就要先把原始 数据统计后生成 view，在对 view 进行查询和报表。
不适合的场景：
高度事物性的系统：例如银行或会计系统。传统的关系型数 据库目前还是更适用于需要大量原子性复杂事务的应用程序。
传统的商业智能应用：针对特定问题的 BI 数据库会对产生 高度优化的查询方式。对于此类应用，数据仓库可能是更合适的选择。
需要 SQL 的问题
重要数据，关系数据 优点:弱一致性（最终一致），更能保证用户的访问速度 文档结构的存储方式，能够更便捷的获取数 内置 GridFS，高效存储二进制大对象 (比如照片和视频) 支持复制集、主备、互为主备、自动分片等特性 动态查询 全索引支持,扩展到内部对象和内嵌数组
缺点：不支持事务 MongoDB 占用空间过大 维护工具不够成熟
MySQL Replication 是 MySQL 官方提供的主从同步方案，用于将 一个 MySQL 实例的数据，同步到另一个实例中。Replication 为保证 数据安全做了重要的保证，也是现在运用最广的 MySQL 容灾方案。 Replication 用两个或以上的实例搭建了 MySQL 主从复制集群，提供 单点写入，多点读取的服务，实现了读的 scale out. Sentinel 是 Redis 官方为集群提供的高可用解决方案。 在实际 项目中可以使用 sentinel 去做 redis 自动故障转移，减少人工介入 的工作量。另外 sentinel 也给客户端提供了监控消息的通知，这样 客户端就可根据消息类型去判断服务器的状态，去做对应的适配操作。 下面是 Sentinel 主要功能列表： Monitoring：Sentinel 持续检查集群中的 master、slave 状态， 判断是否存活。 Notification：在发现某个 redis 实例死的情况下，Sentinel 能通过 API 通知系统管理员或其他程序脚本。 Automatic failover：如果一个 master 挂掉后，sentinel 立马 启动故障转移，把某个 slave 提升为 master。其他的 slave 重新配 置指向新 master。 Configuration provider：对于客户端来说 sentinel 通知是有效可 信赖的。客户端会连接 sentinel 去请求当前 master 的地址，一旦发 生故障 sentinel 会提供新地址给客户端。
数据库索引，是数据库管理系统中一个排序的数据结构，以协助 快速查询、更新数据库表中数据。索引的实现通常使用 B_TREE。 B_TREE 索引加速了数据访问，因为存储引擎不会再去扫描整张表得 到需要的数据；相反，它从根节点开始，根节点保存了子节点的指针， 存储引擎会根据指针快速寻找数据。
MongoDB 和 Redis 都是 NoSQL，采用结构型数据存储。二者在使 用场景中，存在一定的区别，这也主要由于二者在内存映射的处理过 程，持久化的处理方法不同。MongoDB 建议集群部署，更多的考虑到 集群方案，Redis 更偏重于进程顺序写入，虽然支持集群，也仅限于 主-从模式.
Redis 优点：
读写性能优异
支持数据持久化，支持 AOF 和 RDB 两种持久化方式
支持主从复制，主机会自动将数据同步到从机，可以进行读写 分离。
数据结构丰富：除了支持 string 类型的 value 外还支持 string、hash、set、sortedset、list 等数据结构。
缺点：
Redis 不具备自动容错和恢复功能，主机从机的宕机都会导致 前端部分读写请求失败，需要等待机器重启或者手动切换前端的 IP 才能恢复。
主机宕机，宕机前有部分数据未能及时同步到从机，切换 IP 后还会引入数据不一致的问题，降低了系统的可用性。
Redis 的主从复制采用全量复制，复制过程中主机会 fork 出 一个子进程对内存做一份快照，并将子进程的内存快照保存为文件发 送给从机，这一过程需要确保主机有足够多的空余内存。若快照文件 较大，对集群的服务能力会产生较大的影响，而且复制过程是在从机 新加入集群或者从机和主机网络断开重连时都会进行，也就是网络波 动都会造成主机和从机间的一次全量的数据复制，这对实际的系统运 营造成了不小的麻烦。
Redis 较难支持在线扩容，在集群容量达到上限时在线扩容会 变得很复杂。为避免这一问题，运维人员在系统上线时必须确保有足 够的空间，这对资源造成了很大的浪费。 优点:弱一致性（最终一致），更能保证用户的访问速度 文档结构的存储方式，能够更便捷的获取数 内置 GridFS，高效存储二进制大对象 (比如照片和视频) 支持复制集、主备、互为主备、自动分片等特性 动态查询 全索引支持,扩展到内部对象和内嵌数组
缺点：不支持事务 MongoDB 占用空间过大 维护工具不够成熟
负载均衡集群是由一组相互独立的计算机系统构成，通过常规网 络或专用网络进行连接，由路由器衔接在一起，各节点相互协作、共 同负载、均衡压力，对客户端来说，整个群集可以视为一台具有超高 性能的独立服务器。
(1)实现原理 实现数据库的负载均衡技术，首先要有一个可以控制连接数据库 的控制端。在这里，它截断了数据库和程序的直接连接，由所有的程 序来访问这个中间层，然后再由中间层来访问数据库。这样，我们就 可以具体控制访问某个数据库了，然后还可以根据数据库的当前负载 采取有效的均衡策略，来调整每次连接到哪个数据库。
(2)实现多据库数据同步 对于负载均衡，最重要的就是所有服务器的数据都是实时同步的。 这是一个集群所必需的，因为，如果数不据实时、不同步，那么用户 从一台服务器读出的数据，就有别于从另一台服务器读出的数据，这 是不能允许的。所以必须实现数据库的数据同步。这样，在查询的时 候就可以有多个资源，实现均衡。比较常用的方法是 Moebius for SQL Server 集群，Moebius for SQL Server 集群采用将核心程序驻留在 每个机器的数据库中的办法，这个核心程序称为 Moebius for SQL Server 中间件，主要作用是监测数据库内数据的变化并将变化的数 据同步到其他数据库中。数据同步完成后客户端才会得到响应，同步 过程是并发完成的，所以同步到多个数据库和同步到一个数据库的时 间基本相等；另外同步的过程是在事务的环境下完成的，保证了多份 数据在任何时刻数据的一致性。正因为 Moebius 中间件宿主在数据 库中的创新，让中间件不但能知道数据的变化，而且知道引起数据变 化的 SQL 语句，根据 SQL 语句的类型智能的采取不同的数据同步的策 略以保证数据同步成本的最小化。 数据条数很少，数据内容也不大，则直接同步数据 数据条数很少，但是里面包含大数据类型，比如文本，二进制数 据等，则先对数据进行压缩然后再同步，从而减少网络带宽的占用和 传输所用的时间。 数据条数很多，此时中间件会拿到造成数据变化的 SQL 语句，然 后对 SQL 语句进行解析，分析其执行计划和执行成本，并选择是同步 数据还是同步 SQL 语句到其他的数据库中。此种情况应用在对表结构 进行调整或者批量更改数据的时候非常有用。
(3)优缺点 优点：
扩展性强：当系统要更高数据库处理速度时，只要简单地增 加数据库服务器就 可以得到扩展。
可维护性：当某节点发生故障时，系统会自动检测故障并转 移故障节点的应用，保证数据库的持续工作。
安全性：因为数据会同步的多台服务器上，可以实现数据集 的冗余，通过多份数据来保证安全性。另外它成功地将数据库放到了 内网之中，更好地保护了数据库的安全性。
易用性：对应用来说完全透明，集群暴露出来的就是一个 IP 缺点： (1) 不能够按照 Web 服务器的处理能力分配负载。 (2) 负载均衡器(控制端)故障，会导致整个数据库系统瘫痪。
优点：
99.999%的高可用性
快速的自动失效切换
灵活的分布式体系结构，没有单点故障
高吞吐量和低延迟
可扩展性强，支持在线扩容
缺点：
存在很多限制，比如：不支持外键
部署、管理、配置很复杂
占用磁盘空间大，内存大
备份和恢复不方便
重启的时候，数据节点将数据 load 到内存需要很长时间
Redis 一个实例下有 16 个库
Redis 提供了 INFO 这个命令，能够随时监控服务器的状态，只 用 telnet 到对应服务器的端口，执行命令即可：
telnet localhost 6379 info
在输出的信息里面有这几项和缓存的状态比较有关系：
keyspace_hits:14414110 keyspace_misses:3228654 used_memory:433264648 expired_keys:1333536 evicted_keys:1547380
通过计算 hits 和 miss，我们可以得到缓存的命中率：14414110 / (14414110 + 3228654) = 81% ，一个缓存失效机制，和过期时间 设计良好的系统，命中率可以做到 95%以上
sqlserver：1433
MySQL：3306
Oracle ：1521
http：80
https：443
redis：6379
select * from table where id in (select idcard from table group by id having count(idcard)>1);
SELECT oname,odesc FROM object_a
UNION
SELECT oname,odesc FROM object_b
SELECT a.oname,a.odesc FROM object_a a INNER JOIN object_b b ON a.oname=b.oname AND a.odesc=b.odesc;
或
SELECT a.oname,a.odesc FROM object_a a INNER JOIN object_b b USING(oname,odesc);
SELECT a.oname, a.odesc
FROM
object_a a
LEFT JOIN object_b b
ON a.oname = b.oname
AND a.odesc = b.odesc
WHERE b.id IS NULL
TRUNCATE TABLE table_name ;
标签：优化 容量 value 项目 针对 查看 browser php 程序 封装
原文地址：https://www.cnblogs.com/huxiaoyang/p/12595096.html
