码迷,mamicode.com
首页 > 数据库 > 详细

【Python】python读取文件操作mysql

时间:2016-02-22 15:50:33      阅读:275      评论:0      收藏:0      [点我收藏+]

标签:

尾大不掉,前阵子做检索测试时,总是因为需要业务端操作db和一些其他服务,这就使得检索测试对环境和数据依赖性特别高,极大提高了测试成本。

Mock服务和mysql可以很好的解决这个问题,所以那阵子做了两个工作:

1 使用公司的service框架Mock服务;

2 使用python语言Mock mysql数据。

部分1只需要了解公司框架即可进行编写,本文主要记录下python操作mysql的部分。

一 安装环境

安装python即需要的MySQLdb模块(yum install MySQL-python.x86_64),如下,安装成功。

[root@bjdhj-118-69 ~]# python
Python 2.6.6 (r266:84292, Feb 22 2013, 00:00:18) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-3)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import MySQLdb
>>> 

二 实现python操作数据库

1 我第一次实现的是读取文件操作数据库(注释掉的为自增键处理)如下:

#-*- coding:utf-8 -*-
import MySQLdb
from itertools import islice 
try:
    conn = MySQLdb.connect(host=localhost,user=root,passwd=123456,port=3306,charset=utf8)#连接mysqldb
    cur = conn.cursor()
    conn.select_db(test)
#    cur.execute(select max(id) from student)#获取mysql中该表的自增键最大值,向后添加。
#    maxid = cur.fetchall()[0]
#    print maxid%id%maxid
#    start = count+1
    f = file(data2.txt)  
    list = []
    line_num = 1
    for line in islice(f,1,None):#读取txt文件,跳过标题行
        strs = line.split(",")   #文件各字段逗号分隔
        line_num = line_num+1
        print len(strs)
        if len(strs)!=25:        #缺少字段时,跳过该行
            print %d 行缺少字段,请检查文件%line_num
            continue
        data = (strs[0],strs[1],strs[2],strs[3],strs[4],strs[5],strs[6],strs[7],strs[8],strs[9],strs[10],strs[11],strs[12],strs[13],strs[14],strs[15],strs[16],strs[17],strs[18],strs[19],strs[20],strs[21],strs[22],strs[23],strs[24].replace("\n",""))   #对strs[24]空格进行处理
        print data
#    start = start+1
        list.append(data)        #将data记录到list中,对list执行插入操作
    f.close
    cur.executemany(insert into creative_info_test values(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s),list) 
    conn.commit()                #提交
    cur.close()
    conn.close()
    print OK
except MySQLdb.Error,e:
    print "MySQL Error %d:%s"%(e.args[0],e.args[1])

2 领导说每条记录字段太多了(多表多字段),让我固定到脚本里,再单独更改,于是对第一版进行了修改,使用了字典dict:

#-*- coding:utf-8 -*-
import MySQLdb
conn = MySQLdb.connect(host=localhost,user=root,passwd=123456,port=3306,charset=utf8)#连接mysqldb
cur = conn.cursor()
conn.select_db(test)
#逻辑:一次操作只为一次测试使用,所以第一步清除记录;第二步根据条数插入数据;第三个对插入数据进行个性化设置(部分字段的更新)。
try:
        Delete()#数据清除
        Producer()#将默认数据插入mysql,注意自增主键
        Update()#个性化数据更新
        conn.commit()#提交
        cur.close()
        conn.close()
except MySQLdb.Error,e:
        print ‘MySQL Error %d,%s‘%(e.args[0],e.args[1])
#具体实现:插入数据,由于多表插入,切表与表之间有相同字段,所以根据条数做统一设置。
def Producer():
    print input numbers :
    num = input()#请多写一条
    for i in range(1,num):
        table1[user_id]=i
        table2[user_id]=i...
        #insert table1
        user_info = [user[user_id]...]
        cur.execute(insert into user_test values(%s,...),table1)
        #insert table2
        ...以下类似处理

def Update():
  print input your sql语句 file name:
  filename = raw_input()
  f=file(filename)
  for line in f.readlines():
    operator your sql update  #写update语句即可
def Delete():
    cur.execute(delete from table1)
    cur.execute(delete from table2)
  ...
#每个表对应一个dict,其字段为字典元素,为各字段设置默认值 table1={ user_id:5185173207809, user_name:
..., } table2={ ... }

三 附excel文件的读取,嗯,顺便感慨,python真棒:

import csv  
f = open(creative_info_test.csv,rb)
reader = csv.reader(f)
for row in reader:
        print row
f.close

 

【Python】python读取文件操作mysql

标签:

原文地址:http://www.cnblogs.com/zhaoxd07/p/5207134.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!