python操作mysql數據庫(百庫百表)

發布時間：2020-08-11 19:08:51 來源：ITPUB博客閱讀：182 作者：Kind0f 欄目：MySQL數據庫

問題描述：
今天下午跑某項目db需求，百庫百表清臟數據，然后自己寫了個python腳本，跑完之后通知項目，然后項目給玩家發獎勵了，結果悲催了，所有的mysql操作沒有執行成功(沒有報錯，因而以為執行成功)。

以下是我的python腳本，傳兩個文件作為參數，host.txt 以及 update.sql

點擊(此處)折疊或打開

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
import sys
import MySQLdb
import datetime
dbuser = 'xxx'
dbpwd = 'xxx'
DB_NUM = 100
TB_NUM = 100
args = sys.argv
if len(args)!=3:
print "USAGE: %s host.txt update.sql" % args[0]
sys.exit()
start = datetime.datetime.now()
print "Start Time : %s " % start.strftime('%Y-%m-%d %H:%M:%S')
hostfile = args[1]
sqlfile = args[2]
rhost = open(hostfile)
hostlist = rhost.readlines()
rhost.close()
rsqls = open(sqlfile)
sqllist = rsqls.readlines()
rsqls.close()
for host in hostlist:
host = host.strip()
ip = host.split(' ')[0]
pt = host.split(' ')[1]
conn = MySQLdb.connect(ip,dbuser,dbpwd,port=int(pt))
cursor = conn.cursor()
cursor.execute('SET NAMES UTF8')
sqls = []
for i in range(DB_NUM):
sqls.append("%s" % str(i).zfill(2))
for sql in sqls:
db=sql
#print 'ip=%s ; port=%s ; db=%s' % (ip,pt,db)
for j in range(TB_NUM):
if TB_NUM > 10:
j = str(j).zfill(2)
for sql in sqllist:
ct = sql.strip() % (db,str(j))
cursor.execute(ct)
print ct
conn.close()
end= datetime.datetime.now()
print "End Time : %s " % end.strftime('%Y-%m-%d %H:%M:%S')

update.sql如下：

點擊(此處)折疊或打開

delete from XSY_%s.t_xsy_equip_cloth_%s where (clothid >= 201675 and clothid <= 201700) or (clothid >= 201725 and clothid <= 201751);

host.txt如下：

點擊(此處)折疊或打開

192.168.xx.xx 3306

每執行一條語句都print出來，結果是成功打印出了10000條，但是上庫看binlog日志并沒有任何記錄，數據也沒有變化

解決：
臨時寫了個shell腳本，跑完需求，成功執行。
其中傳入的$1為包含10000條操作的delete語句文件

點擊(此處)折疊或打開

#!/bin/bash
user=xxx
pwd=xxx
while read sql
do
echo $sql
/usr/bin/mysql -h"192.168.xxx.xx" -P3306 -utab -ptab -e "${sql}"
done < $1

發現問題：

開始以為自己遠端沒有執行，然后重新在test庫上使用以上python腳本create百表，登上去查看，發現操作成功。
但是insert、update、以及delete操作無效。

查資料得知，mysql的ddl操作是隱式提交的，而dml是需要顯示commit才能提交成功，而我的這個python腳本沒有調用cursor.commit()，故而close之后并沒有提交相應的操作。

這里要區分shell中連接執行和python MySQLdb模塊中連接執行的區別：

①shell中寫的是連接到庫上默認autocommit是開啟的，故而執行時自動提交的，
②而pyrhon的該模塊在dml操作之后調用conn.commit()顯示提交或者在連接mysql之后執行設置conn.autocommit(1)。這是由于MySQLdb模塊在連接mysql之后關閉了自動提交。需要注意的是這里針對的是innodb存儲引擎，因為mysaim不支持事務

向AI問一下細節

中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

python操作mysql數據庫(百庫百表)

猜你喜歡

中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

python操作mysql數據庫(百庫百表)

猜你喜歡

最新資訊

相關推薦

相關標簽