前因： 思路： 1.找到sql_text,sql_id 2.查看执行计划 3.查询sql涉及对象的对象数据量，段大小，行数量，where条件列，是否存在索引，列的选择读情况如何 4.总结，优化整改 1.找到sql_text,sql_id 2.查看执行计划 GROUP_NO NOT NULL NUMB ...
分类：
数据库 时间：
2018-12-18 22:41:44
阅读次数：
233
1、snowflake算法ID生成器介绍 snowflake 是 twitter 开源的一个分布式ID 生成器 2、为什么使用snowflake (1) 主键自增弊端：不是全局id，当多表合并、构建数据仓库、进行数据分析、会导致主键冲突 (2) uuid或guid弊端：数据量过大 (3)全局redi ...
分类：
编程语言 时间：
2018-12-11 01:39:00
阅读次数：
183
mysql是关系型数据库，支持事物 MongoDB、Redis是非关系型数据库，不支持事物 mongodb、mysql、redis的使用根据如何方便进行选择 希望速度快的时候，选择MongoDB或者是Redis 数据量过大的时候，选择频繁使用的数据存入Redis，其他的存入MongoDB Mongo ...
分类：
数据库 时间：
2018-11-26 23:09:03
阅读次数：
401
一、Spark Streaming连Kafka（重点） 方式一：Receiver方式连：走磁盘 使用High Level API（高阶API）实现Offset自动管理，灵活性差，处理数据时，如果某一时刻数据量过大就会磁盘溢写，通过WALS（Write Ahead Logs）进行磁盘写入,0.10版本 ...
分类：
其他好文 时间：
2018-11-23 11:28:43
阅读次数：
262
在SQL中，insert many的操作可能会出现插入数据量过大的问题。 印象中MySQL Driver对insert语句的buffer有一个大小限制。超过这个限制的数据可能会被丢弃？ -- > 待考 不过使用pyMongo做insert_many并不会存在这个问题，因为pyMongo在实现Bulk ...
分类：
其他好文 时间：
2018-11-21 16:05:39
阅读次数：
880
接手了同事的项目，其中有一个功能是保存邮件模板（包含图片），同事之前的做法是把图片进行base64编码然后存在mysql数据库中（字段类型为mediumtext）然后保存三张图片（大概400k）的时候报错MySQL server has gone away 然后查看官方文档https://dev.m ...
分类：
数据库 时间：
2018-11-17 20:59:03
阅读次数：
264
在编写python爬虫时，我们用requests和Selenium等库便可完成大多数的需求，但当数据量过大或者对爬取速度有一定要求时，使用框架来编写的优势也就得以体现。在框架帮助下，不仅程序架构会清晰许多，而且爬取效率也会增加，所以爬虫框架是编写爬虫的一种不错的选择。对于python爬虫框架，目前较... ...
分类：
编程语言 时间：
2018-09-05 00:48:18
阅读次数：
153
25.尽量避免大事务操作，提高系统并发能力。26.尽量避免向客户端返回大数据量，若数据量过大，应该考虑相应需求是否合理。 ...
分类：
数据库 时间：
2018-08-27 11:24:23
阅读次数：
177
