接到朋友求助，说自己一个数据库里的某个表有大量重复数据，使用mysql语句处理的速度太慢，每次只能处理1W条数据，总共800W条数据需要处理，耗时耗力。分开处理也会有大量的遗漏数据需要二次三次处理，最后得到的数据还是会不准确，很显然用mysql语句处理不怎么好。我想到了python中有一个模块pandas是专门用来处理海量数据的，马上网上查下该模块是否有相关的方法，果然，pandas里的drop_
分类：
数据库 时间：
2019-06-11 16:22:07
阅读次数：
160
SQLAlchemy是Python编程语言下的一款开源软件。提供了SQL工具包及对象关系映射（ORM）工具，使用MIT许可证发行。 SQLAlchemy“采用简单的Python语言，为高效和高性能的数据库访问设计，实现了完整的企业级持久模型”。 SQLAlchemy的理念是，SQL数据库的量级和性能 ...
分类：
数据库 时间：
2019-06-11 16:27:25
阅读次数：
123
ython数据库编程pymysql 一、数据库编程介绍 数据库编程就是针对数据库的操作，通过编写程序的方式，让程序做为数据库的客户端进行数据库操作。 对于MySQL的操作我们可以通过SQL语句，但是有很多情况下我们需要写入MySQL的数据非常多，并且是在其他平台获取数据的同时写入MySQL，需要边获 ...
分类：
数据库 时间：
2019-06-11 17:45:03
阅读次数：
133
1.my.cof配置了：bind-address=addr 或 skip-networking，需要注释 2.防火墙限制3306端口： 显示3306端口drop限制访问，可删除限制规则 ...
分类：
数据库 时间：
2019-06-11 17:47:39
阅读次数：
134
EXP-00006 interval partition
分类：
数据库 时间：
2019-06-11 17:50:07
阅读次数：
200
Linux环境下安装使用MySQL Portal 数据备份&恢复 ...
分类：
数据库 时间：
2019-06-11 19:07:40
阅读次数：
107
由于异常导致了测试服务器的Pg11宕机，启动时候报错 应该是事务执行中导致的日志文件丢失，少了启动必须的文件 bash-4.2$ psqlpsql: 无法联接到服务器: 没有那个文件或目录 服务器是否在本地运行并且在 Unix 域套接字 "/var/run/postgresql/.s.PGSQL.5 ...
分类：
数据库 时间：
2019-06-11 19:17:34
阅读次数：
305
SQL 中的 substring 函数是用来截取一个栏位资料中的其中一部分。 例如，我们需要将字符串'abdcsef'中的‘abd’给提取出来，则可用substring 来实现： 查询结果： 括号中数字‘1’表示截取的起始位置是从该字符串第一个字符开始，‘3’表示截取后得到的字符串长度为3个字符。 ...
分类：
数据库 时间：
2019-06-11 19:32:29
阅读次数：
158
1.修改yum源 鉴于用国外的Yum源，速度比较慢，所以想到将国外的yum源改为国内的Yum源，这里选择使用比较多的阿里云源。具体修改方法可以参考此连接 2.在线安装mysql 通过yum在线mysql，具体操作命令如下所示。 yum clean all yum install mysql-serv ...
分类：
数据库 时间：
2019-06-11 19:35:11
阅读次数：
163
原因：无法初始化物理量，之前创建的cinder-volumes没有卸载 方法一： 方法二： 按顺序先后卸载逻辑卷、卷组（必要时还要卸载物理卷）： lvremove /dev/cinder-volumes/LogVol00 vgremove cinder-volumes 成功卸载后再重新执行sudo ...
分类：
数据库 时间：
2019-06-11 19:38:05
阅读次数：
174
1.如果mybatis有logback.xml文件，作为优先级会优先选择加载logback.xml文件-->进行sql打印， 在logback.xml文件下加一个配置：具体配置如下：“”直接加一句“” 2.如果没有logback.xml文件，就用SpringBoot的log4j配置即可，配置如下： ...
分类：
数据库 时间：
2019-06-11 19:42:23
阅读次数：
231
# coding: utf-8 import pymysqlclass MysqldbHelper(object): def __init__(self, host="192.168.1.243", username="devlop", password="devlop", port=3306, d ...
分类：
数据库 时间：
2019-06-11 19:42:55
阅读次数：
208
一般小型公司数据库，使用主从复制即可保证数据库的高可用，但是一旦主数据库故障，切换到从库需要一定的时间，这样就导致了停机时间过长，不能及时恢复业务。使用双主（master)配合keepalived这种mysql高可用架构也是基于主从复制的原理而搭建的。这是一种简单、便捷的解决方案，在高可用集群环境中，keepalived使用vip，利用keepalived自带的服务监控功能和自定义脚本来实现mys
分类：
数据库 时间：
2019-06-11 20:54:08
阅读次数：
156
今日内容 1.数据库相关概念--非常重要 2.数据库与文件系统的对应关系 非常重要 3.数据库安装方式--掌握 4. 连接服务器的指令 必要掌握 5.修改管理员密码 了解 1.数据库相关概念 非常重要 数据库本质就是一套CS结构的TCP程序， 客户端连接到服务器 向服务器发送指令，来完成数据的操作 ...
分类：
数据库 时间：
2019-06-11 20:58:53
阅读次数：
160
MySQL数据库查询 12、说明：使用外连接 A、 left （ outer ） join ： 左外连接（左连接）：包含left join左表所有行，如果左表中某行在右表没有匹配，则结果中对应行右表的部分全部为空(NULL).。 SQL: select * from student(表1) left ...
分类：
数据库 时间：
2019-06-11 22:16:56
阅读次数：
140
epoll 程序阻塞的过程 假设我们目前运行了三个进程A B C ，如果他们都在处于运行态，那就会被加到一个运行队列中 进程A正在运行socket程序 在linux中有句话，万物皆文件，socket对象的读写其实也是创建了文件进行读写 所以：1、首先系统会创建一个文件描述符指向一个socket对象， ...
分类：
数据库 时间：
2019-06-11 22:23:04
阅读次数：
220
Ubuntu 18 + mongodb 4.0.10 python 安装连接的库在网络异常的时候使用-i 选择pip源会很大程度加速 ...
分类：
数据库 时间：
2019-06-11 22:26:39
阅读次数：
211
最近开发中遇到一些问题，这里记录下Mysql中的两种表级别的锁。 读锁：所有的会话只能进行SELECT语句查询 写锁：只有当前会话能增删改查，其他会话无法任何操作 下面是个简单测试： 首先测试Write 下面先开启一个客户端进行如下操作： 然后开启客户端二操作： 此时 客户端二会被lock 查看pr ...
分类：
数据库 时间：
2019-06-11 23:36:29
阅读次数：
271
Mysql: 第一、只复制表结构到新表 create table 新表 select * from 旧表 where 1=2 或者 create table 新表 like 旧表 第二、复制表结构及数据到新表 create table 新表 select * from 旧表 已复制好表结构,将旧表的 ...
分类：
数据库 时间：
2019-06-12 01:03:29
阅读次数：
136
python manage.py sqlmigrate your_app_name 0001 python manage.py sqlmigrate your_app_name 0001 python manage.py sqlmigrate your_app_name 0001 python ma ...
分类：
数据库 时间：
2019-06-12 01:03:52
阅读次数：
122
