参考链接:https://www.makcyun.top/web_scraping_withpython2.html csv文件效果: csv文件待优化的地方:加上列名 mysql效果: 问题: 1.不论是csv文件还是mysql表格数据,根据rank字段进行排序,竟然排序的不怎么准确 2.site ...
分类：
数据库 时间：
2019-01-12 17:55:19
阅读次数：
240
索引类似大学图书馆建书目索引，可以提高数据检索的效率，降低数据库的IO成本。MySQL在300万条记录左右性能开始逐渐下降，虽然官方文档说500~800w记录，所以大数据量建立索引是非常有必要的。MySQL提供了Explain，用于显示SQL执行的 ...
分类：
数据库 时间：
2019-01-12 17:58:43
阅读次数：
159
一.mysql高级 1.视图 什么是视图？ 视图是由一张表或者多张表的查询结果构成的一张表，这张虚拟的表的作用就是为了查询。 为什么用视图？ 为了将复杂常用的查询结果保留下来重复使用或者将一张大表拆分成多张小表，就是将复杂问题简单化，提升查询的效率。 2.触发器 什么是触发器？ 在表发生数据更新时（ ...
分类：
数据库 时间：
2019-01-12 17:58:51
阅读次数：
170
常用的聚合函数有： 平均值：avg() 取个数：count() 取总和：sum() 取最大值：max() 取最小值：min() 用法：select 聚合函数 from 表名 group by 字段名; 例如： select * from student; select count(ssex) fro ...
分类：
数据库 时间：
2019-01-12 18:00:20
阅读次数：
166
本篇博文相对简单，因为是初次使用Docker，MySQL的主从复制之前也在Centos环境下搭建过，但是也忘的也差不多了，因此本次尝试在Docker中搭建。根据网上教程走还是踩了一些坑，不过所幸最终搭建成功，因此记录下来，避免以后踩了重复的坑。 搭建环境 Centos 7.2 64位 MySQL 5 ...
分类：
数据库 时间：
2019-01-12 18:03:13
阅读次数：
199
1、什么是MySQL执行计划 要对执行计划有个比较好的理解，需要先对MySQL的基础结构及查询基本原理有简单的了解。 MySQL本身的功能架构分为三个部分，分别是 应用层 ...
分类：
数据库 时间：
2019-01-12 18:03:29
阅读次数：
216
大数据时代，企业对于DBA也提出更高的需求。同时，NoSQL作为近几年新崛起的一门技术，也受到越来越多的关注。本文将基于个推SRA孟显耀先生所负责的DBA工作，和大数据运维相关经验，分享两大方向内容：一、公司在KV存储上的架构演进以及运维需要解决的问题；二、对NoSQL如何选型以及未来发展的一些思考 ...
分类：
数据库 时间：
2019-01-12 18:03:51
阅读次数：
235
也许你会说，我在连接字符串中已经 设置了 Connect Timeout=80000 ，并且数据库中超时连接也是设置的值是一个很大的值。为啥到了30秒，仍然超时了呢？？ 这是因为： 你的设置并没有问题，是你混淆了 SqlCommand.CommandTimeout 和 SqlConnection.C ...
分类：
数据库 时间：
2019-01-12 18:04:51
阅读次数：
147
select * from 表1 left join 表2 on 列1=列2; ...
分类：
数据库 时间：
2019-01-12 18:29:45
阅读次数：
183
方法一：SELECT * FROM table ORDER BY RAND() LIMIT 1;评价：不建议使用，效率非常低，官方文档中进行说明：Order By和RAND()连用，会多次扫描表，导致速度变慢。方法二：SELECT * FROM table WHERE id >= (SELECT f ...
分类：
数据库 时间：
2019-01-12 18:31:40
阅读次数：
208
数据库存储本身是无序的，建立了聚集索引，会按照聚集索引物理顺序存入硬盘。既键值的逻辑顺序决定了表中相应行的物理顺序 多数情况下，数据库读取频率远高于写入频率，索引的存在 为了读取速度牺牲写入速度 页 为最小单位 8kb 区 物理连续的页（8页）的集合 内部碎片 数据库页内部产生的碎片，外部反之 碎片 ...
分类：
数据库 时间：
2019-01-12 19:58:09
阅读次数：
249
1.尽量避免SELECT *命令从表中读取越多的数据，查询会变得越慢。它会增加磁盘的操作时间，在数据库服务器与web服务器是独立分开的情况下，将会经历非常漫长的网络延迟，而这仅仅是因为不必要的数据在服务器之间进行传输。2.尽量不要使用BY RAND()命令如果真需要随机显示结果，有很多更好的途径实现 ...
分类：
数据库 时间：
2019-01-12 20:55:33
阅读次数：
191
我们可以使用linux的scp命令(scp无法在windows使用),加上mysql自带的mysqldump,能很快的完成数据库的迁移 将本地的数据库(music_db)导出为sql文件(music_db.sql) mysqldump -uroot -p music_db > music_db.sq ...
分类：
数据库 时间：
2019-01-12 20:56:08
阅读次数：
279
zhihuspider.py # -*- coding: utf-8 -*- import json import scrapy from scrapy import Request from zhihuuser.items import ZhihuuserItem class Zhihuspide... ...
分类：
数据库 时间：
2019-01-12 20:57:29
阅读次数：
227
1、在内存中缓存数据 性能调优主要是将数据放入内存中操作。通过spark.cacheTable("tableName")或者dataFrame.cache()。使用spark.uncacheTable("tableName")来从内存中去除table。 Demo案例： （*）从Oracle数据库中读 ...
分类：
数据库 时间：
2019-01-12 21:41:58
阅读次数：
315
...
分类：
数据库 时间：
2019-01-12 21:43:56
阅读次数：
583
MySQL状态变量详解 mysql的状态变量（status variables）记录的mysql服务器的运行状态信息。查看语法如下： SHOW STATUS命令会显示每个服务器变量的名字和值，状态变量是只读的。我们可以在MySQL客户端下运行SHOW STATUS或者在命令行运用mysqladmin ...
分类：
数据库 时间：
2019-01-12 21:44:05
阅读次数：
144
ERROR 1794 (HY000): Slave is not configured or failed to initialize properly. You must at least set --server-id to enable either a master or a slave. ...
分类：
数据库 时间：
2019-01-12 21:46:16
阅读次数：
394
对于许多web应用程序而言，数据库都是其核心所在。数据库几乎可以用来存储所有你想要检索和更新的任何信息 下面介绍两种数据库的访问方式： ①. MySQLi 访问MySQLi (面向对象)数据库，其中MYSQLi又分为 面向对象 和 面向过程两种形式 ②. PDO访问MYSQL数据库 MySQLi 和 ...
分类：
数据库 时间：
2019-01-12 21:49:04
阅读次数：
214
1、获取mysql源码 wget http://dev.mysql.com/get/Downloads/MySQL-5.5/mysql-5.5.49.tar.gz 3、添加mysql用户和用户组，创建mysql的数据目录 2、解压源码包 tar -zxvf mysql-5.5.49.tar.gz 3 ...
分类：
数据库 时间：
2019-01-12 21:52:29
阅读次数：
202
