實(shí)現(xiàn)思路如下：

• 復(fù)制原數(shù)據(jù)庫(kù)moviedb至newmoviedb
• 設(shè)置max_allowed_packet，以保證一條insert語(yǔ)句可以插入足夠多的元組
• 用python生成一條一次插入10000個(gè)元組的insert語(yǔ)句
• 用python生成一個(gè)包含100條insert語(yǔ)句的事務(wù)，保存至sql文件
• 用navicat運(yùn)行該sql文件

至此就可以實(shí)現(xiàn)一百萬(wàn)條記錄的插入了（我的電腦耗時(shí)327s？好像很慢！？）

之后再套一層循環(huán)就可以繼續(xù)完成1千萬(wàn)條記錄的插入了。

下面給出可能用到的步驟（如未說(shuō)明，代碼默認(rèn)為控制行或者mysql環(huán)境下的命令）：

復(fù)制數(shù)據(jù)庫(kù)

創(chuàng)建新數(shù)據(jù)庫(kù)newmoviedb

登錄并創(chuàng)建數(shù)據(jù)庫(kù)：

mysql -u root -pCREATE DATABASE `newmoviedb` DEFAULT CHARACTER SET UTF8 COLLATE UTF8_GENERAL_CI;

復(fù)制moviedb至newmoviedb

復(fù)制數(shù)據(jù)庫(kù)

mysqldump moviedb -u root -pchouxianyu --add-drop-table | mysql newmoviedb -u root -pchouxianyu

上面chouxianyu是我的mysql密碼

進(jìn)入newmoviedb

use newmoviedb;

設(shè)置max_allowed_packet
設(shè)置max_allowed_packet為100M

set global max_allowed_packet = 100*1024*1024;

刪除movies中所有元素（調(diào)試用）

delete from movies;

生成一條insert語(yǔ)句
下邊是insert.py

''' 遇到問(wèn)題沒(méi)人解答？小編創(chuàng)建了一個(gè)Python學(xué)習(xí)交流QQ群：778463939 尋找有志同道合的小伙伴，互幫互助,群里還有不錯(cuò)的視頻學(xué)習(xí)教程和PDF電子書！ ''' insertStr = "INSERT INTO movies(title,year,length,movietype,studioname,producerC) VALUES" value1_str = "('mymovietitle'," # j value2_str = ",120,'sciFic','MGM',100)" # ,; num_value = 10000f = open(r'C:\Users\Cxy\Documents\Navicat\MySQL\Servers\MySQL\newmoviedb\insertRow.sql', 'w') # 清空文件內(nèi)容再寫f.write(insertStr) for j in range(1, num_value):f.write(value1_str)f.write(str(j))f.write(value2_str)f.write(',')f.write(value1_str) f.write(str(num_value)) f.write(value2_str) f.write(';')f.close()

生成一個(gè)事務(wù)
以下是transaction.py

transaction_begin_str = "START TRANSACTION;\n" transaction_end_str = "COMMIT;\n"insertStr = "INSERT INTO movies(title,year,length,movietype,studioname,producerC) VALUES" value1_str = "('mymovietitle'," # j value2_str = ",120,'sciFic','MGM',100)" # ,; num_value = 10000 num_sql = 100 # 打開(kāi)文件 f = open(r'C:\Users\Cxy\Documents\Navicat\MySQL\Servers\MySQL\newmoviedb\transaction.sql', 'w') # 清空文件內(nèi)容再寫# 將SQL語(yǔ)句寫入文件 f.write(transaction_begin_str) for i in range(1, num_sql+1):f.write(insertStr)for j in range(1, num_value):f.write(value1_str)f.write(str(i*num_value*10+j))f.write(value2_str)f.write(',')f.write(value1_str)f.write(str(i*num_value*10+num_value))f.write(value2_str)f.write(';\n') f.write(transaction_end_str)# 關(guān)閉文件 f.close()

總結(jié)

以上是生活随笔為你收集整理的python+mysql:实现一千万条数据插入数据库的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。