MySQL數(shù)據(jù)庫Shell import_table數(shù)據(jù)導入
更新時間：2021年08月30日 14:42:32 作者：ZhenXing_Yu
本文我們介紹一款高效的數(shù)據(jù)導入工具,MySQL Shell 工具集中的import_table,該工具的全稱是Parallel Table Import Utility，需要的朋友請參考下文
MySQL Shell import_table數(shù)據(jù)導入
1. import_table介紹
這一期我們介紹一款高效的數(shù)據(jù)導入工具,MySQL Shell 工具集中的import_table,該工具的全稱是Parallel Table Import Utility,顧名思義,支持并發(fā)數(shù)據(jù)導入,該工具在MySQL Shell 8.0.23版本后,功能更加完善, 以下列舉該工具的核心功能
- 基本覆蓋了MySQL Data Load的所有功能,可以作為替代品使用
- 默認支持并發(fā)導入(支持自定義chunk大小)
- 支持通配符匹配多個文件同時導入到一張表(非常適用于相同結構數(shù)據(jù)匯總到一張表)
- 支持限速(對帶寬使用有要求的場景,非常合適)
- 支持對壓縮文件處理
- 支持導入到5.7及以上MySQL
2. Load Data 與 import table功能示例
該部分針對import table和Load Data相同的功能做命令示例演示,我們依舊以導入employees表的示例數(shù)據(jù)為例,演示MySQL Load Data的綜合場景
- 數(shù)據(jù)自定義順序?qū)?/li>
- 數(shù)據(jù)函數(shù)處理
- 自定義數(shù)據(jù)取值
示例數(shù)據(jù)如下：
[root@10-186-61-162 tmp]# cat employees_01.csv "10001","1953-09-02","Georgi","Facello","M","1986-06-26" "10003","1959-12-03","Parto","Bamford","M","1986-08-28" "10002","1964-06-02","Bezalel","Simmel","F","1985-11-21" "10004","1954-05-01","Chirstian","Koblick","M","1986-12-01" "10005","1955-01-21","Kyoichi","Maliniak","M","1989-09-12" "10006","1953-04-20","Anneke","Preusig","F","1989-06-02" "10007","1957-05-23","Tzvetan","Zielinski","F","1989-02-10" "10008","1958-02-19","Saniya","Kalloufi","M","1994-09-15" "10009","1952-04-19","Sumant","Peac","F","1985-02-18" "10010","1963-06-01","Duangkaew","Piveteau","F","1989-08-24"
示例表結構：
10.186.61.162:3306 employees SQL > desc emp;
+-------------+---------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-------------+---------------+------+-----+---------+-------+
| emp_no | int | NO | PRI | NULL | |
| birth_date | date | NO | | NULL | |
| first_name | varchar(14) | NO | | NULL | |
| last_name | varchar(16) | NO | | NULL | |
| full_name | varchar(64) | YES | | NULL | | -- 表新增字段,導出數(shù)據(jù)文件中不存在
| gender | enum('M','F') | NO | | NULL | |
| hire_date | date | NO | | NULL | |
| modify_date | datetime | YES | | NULL | | -- 表新增字段,導出數(shù)據(jù)文件中不存在
| delete_flag | varchar(1) | YES | | NULL | | -- 表新增字段,導出數(shù)據(jù)文件中不存在
+-------------+---------------+------+-----+---------+-------+
2.1 用Load Data方式導入數(shù)據(jù)
load data infile '/data/mysql/3306/tmp/employees_01.csv'
into table employees.emp
character set utf8mb4
fields terminated by ','
enclosed by '"'
lines terminated by '\n'
(@C1,@C2,@C3,@C4,@C5,@C6)
set emp_no=@C1,
birth_date=@C2,
first_name=upper(@C3),
last_name=lower(@C4),
full_name=concat(first_name,' ',last_name),
gender=@C5,
hire_date=@C6 ,
modify_date=now(),
delete_flag=if(hire_date<'1988-01-01','Y','N');
2.2 用import_table方式導入數(shù)據(jù)
util.import_table(
[
"/data/mysql/3306/tmp/employees_01.csv",
],
{
"schema": "employees",
"table": "emp",
"dialect": "csv-unix",
"skipRows": 0,
"showProgress": True,
"characterSet": "utf8mb4",
"columns": [1,2,3,4,5,6], ## 文件中多少個列就用多少個序號標識就行
"decodeColumns": {
"emp_no": "@1", ## 對應文件中的第1列
"birth_date": "@2", ## 對應文件中的第2個列
"first_name": "upper(@3)", ## 對應文件中的第3個列,并做轉(zhuǎn)為大寫的處理
"last_name": "lower(@4)", ## 對應文件中的第4個列,并做轉(zhuǎn)為大寫的處理
"full_name": "concat(@3,' ',@4)", ## 將文件中的第3,4列合并成一列生成表中字段值
"gender": "@5", ## 對應文件中的第5個列
"hire_date": "@6", ## 對應文件中的第6個列
"modify_date": "now()", ## 用函數(shù)生成表中字段值
"delete_flag": "if(@6<'1988-01-01','Y','N')" ## 基于文件中第6列做邏輯判斷,生成表中對應字段值
}
})
3. import_table特定功能
3.1 多文件導入(模糊匹配)
## 在導入前我生成好了3分單獨的employees文件,導出的結構一致
[root@10-186-61-162 tmp]# ls -lh
總用量 1.9G
-rw-r----- 1 mysql mysql 579 3月 24 19:07 employees_01.csv
-rw-r----- 1 mysql mysql 584 3月 24 18:48 employees_02.csv
-rw-r----- 1 mysql mysql 576 3月 24 18:48 employees_03.csv
-rw-r----- 1 mysql mysql 1.9G 3月 26 17:15 sbtest1.csv
## 導入命令,其中對對文件用employees_*做模糊匹配
util.import_table(
[
"/data/mysql/3306/tmp/employees_*",
],
{
"schema": "employees",
"table": "emp",
"dialect": "csv-unix",
"skipRows": 0,
"showProgress": True,
"characterSet": "utf8mb4",
"columns": [1,2,3,4,5,6], ## 文件中多少個列就用多少個序號標識就行
"decodeColumns": {
"emp_no": "@1", ## 對應文件中的第1列
"birth_date": "@2", ## 對應文件中的第2個列
"first_name": "upper(@3)", ## 對應文件中的第3個列,并做轉(zhuǎn)為大寫的處理
"last_name": "lower(@4)", ## 對應文件中的第4個列,并做轉(zhuǎn)為大寫的處理
"full_name": "concat(@3,' ',@4)", ## 將文件中的第3,4列合并成一列生成表中字段值
"gender": "@5", ## 對應文件中的第5個列
"hire_date": "@6", ## 對應文件中的第6個列
"modify_date": "now()", ## 用函數(shù)生成表中字段值
"delete_flag": "if(@6<'1988-01-01','Y','N')" ## 基于文件中第6列做邏輯判斷,生成表中對應字段值
}
})
## 導入命令,其中對要導入的文件均明確指定其路徑
util.import_table(
[
"/data/mysql/3306/tmp/employees_01.csv",
"/data/mysql/3306/tmp/employees_02.csv",
"/data/mysql/3306/tmp/employees_03.csv"
],
{
"schema": "employees",
"table": "emp",
"dialect": "csv-unix",
"skipRows": 0,
"showProgress": True,
"characterSet": "utf8mb4",
"columns": [1,2,3,4,5,6], ## 文件中多少個列就用多少個序號標識就行
"decodeColumns": {
"emp_no": "@1", ## 對應文件中的第1列
"birth_date": "@2", ## 對應文件中的第2個列
"first_name": "upper(@3)", ## 對應文件中的第3個列,并做轉(zhuǎn)為大寫的處理
"last_name": "lower(@4)", ## 對應文件中的第4個列,并做轉(zhuǎn)為大寫的處理
"full_name": "concat(@3,' ',@4)", ## 將文件中的第3,4列合并成一列生成表中字段值
"gender": "@5", ## 對應文件中的第5個列
"hire_date": "@6", ## 對應文件中的第6個列
"modify_date": "now()", ## 用函數(shù)生成表中字段值
"delete_flag": "if(@6<'1988-01-01','Y','N')" ## 基于文件中第6列做邏輯判斷,生成表中對應字段值
}
})
3.2 并發(fā)導入
在實驗并發(fā)導入前我們創(chuàng)建一張1000W的sbtest1表(大約2G數(shù)據(jù)),做并發(fā)模擬,import_table用threads參數(shù)作為并發(fā)配置, 默認為8個并發(fā).
## 導出測試需要的sbtest1數(shù)據(jù)
[root@10-186-61-162 tmp]# ls -lh
總用量 1.9G
-rw-r----- 1 mysql mysql 579 3月 24 19:07 employees_01.csv
-rw-r----- 1 mysql mysql 584 3月 24 18:48 employees_02.csv
-rw-r----- 1 mysql mysql 576 3月 24 18:48 employees_03.csv
-rw-r----- 1 mysql mysql 1.9G 3月 26 17:15 sbtest1.csv
## 開啟threads為8個并發(fā)
util.import_table(
[
"/data/mysql/3306/tmp/sbtest1.csv",
],
{
"schema": "demo",
"table": "sbtest1",
"dialect": "csv-unix",
"skipRows": 0,
"showProgress": True,
"characterSet": "utf8mb4",
"threads": "8"
})
3.3 導入速率控制
可以通過maxRate和threads來控制每個并發(fā)線程的導入數(shù)據(jù),如,當前配置線程為4個,每個線程的速率為2M/s,則最高不會超過8M/s
util.import_table(
[
"/data/mysql/3306/tmp/sbtest1.csv",
],
{
"schema": "demo",
"table": "sbtest1",
"dialect": "csv-unix",
"skipRows": 0,
"showProgress": True,
"characterSet": "utf8mb4",
"threads": "4",
"maxRate": "2M"
})
3.4 自定義chunk大小
默認的chunk大小為50M,我們可以調(diào)整chunk的大小,減少事務大小,如我們將chunk大小調(diào)整為1M,則每個線程每次導入的數(shù)據(jù)量也相應減少
util.import_table(
[
"/data/mysql/3306/tmp/sbtest1.csv",
],
{
"schema": "demo",
"table": "sbtest1",
"dialect": "csv-unix",
"skipRows": 0,
"showProgress": True,
"characterSet": "utf8mb4",
"threads": "4",
"bytesPerChunk": "1M",
"maxRate": "2M"
})
4. Load Data vs import_table性能對比
- 使用相同庫表
- 不對數(shù)據(jù)做特殊處理,原樣導入
- 不修改參數(shù)默認值,只指定必備參數(shù)
-- Load Data語句
load data infile '/data/mysql/3306/tmp/sbtest1.csv'
into table demo.sbtest1
character set utf8mb4
fields terminated by ','
enclosed by '"'
lines terminated by '\n'
-- import_table語句
util.import_table(
[
"/data/mysql/3306/tmp/sbtest1.csv",
],
{
"schema": "demo",
"table": "sbtest1",
"dialect": "csv-unix",
"skipRows": 0,
"showProgress": True,
"characterSet": "utf8mb4"
})
可以看到,Load Data耗時約5分鐘,而import_table則只要不到一半的時間即可完成數(shù)據(jù)導入,效率高一倍以上(虛擬機環(huán)境磁盤IO能力有限情況下)
以上就是MySQL Shell import_table數(shù)據(jù)導入詳情的詳細內(nèi)容，更多關于import_table數(shù)據(jù)導入的資料請關注腳本之家其它相關文章！
相關文章
這篇文章主要介紹了高效利用mysql索引指南，你知道如何創(chuàng)建恰當?shù)乃饕龁?？在?shù)據(jù)量小的時候，不合適的索引對性能并不會有太大的影響，但是當數(shù)據(jù)逐漸增大時，性能便會急劇的下降。,需要的朋友可以參考下2019-06-06
這篇文章主要介紹了Mysql8.0輕松實現(xiàn)主從復制方法的相關資料,需要的朋友可以參考下2022-11-11
這篇文章主要介紹了mysql密碼忘了的問題及解決方案,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2025-04-04
MYSQL安裝時解決要輸入current root password的解決方法
在裝MYSQL的時候發(fā)現(xiàn)要輸入current root password不記得以前在電腦里裝過（你的系統(tǒng)曾經(jīng)裝過MYSQL在重裝就會要求輸入原來設定的密碼，如果是第一次安裝就不會出現(xiàn)），在網(wǎng)上苦苦搜尋解決方法。2011-07-07
設置MySQLroot賬戶密碼報錯ERROR 1064 (42000): You
在安裝mysql的時候,設置root賬戶密碼出現(xiàn)了ERROR 1064 (42000): You have an error in your SQL syntax； check the manual that corresponds..錯誤,本文小編給大家介紹了相關的解決方案,需要的朋友可以參考下2023-12-12
這篇文章主要介紹了Mysql存儲過程和函數(shù)的區(qū)別,需要的朋友可以參考下2014-03-03
MySQL使用SHOW PROCESSLIST的實現(xiàn)
本文主要介紹了MySQL使用SHOW PROCESSLIST的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2025-03-03
mysql的Query Cache有其特殊的業(yè)務場景，也不像其他數(shù)據(jù)庫產(chǎn)品，緩存查詢語句的執(zhí)行計劃等信息，而是直接緩存查詢語句的記錄集和對應的SQL語句2013-02-02
mysql數(shù)據(jù)庫replace、regexp的用法
mysql數(shù)據(jù)庫中replace、regexp的用法，主要是通過sql語句實現(xiàn)數(shù)據(jù)的替換，使用mysql的朋友可以參考下。2011-08-08
本篇文章是對SQL中SET與SELECT賦值的區(qū)別進行了詳細的分析介紹，需要的朋友參考下2013-06-06