中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

MySQL 5.7 新特性 共享臨時表空間及臨時表改進

發布時間:2020-08-09 02:46:30 來源:ITPUB博客 閱讀:203 作者:strivechao 欄目:MySQL數據庫


〇 前言:

MySQL 5.6引用了獨立undo tablespace之后,MySQL 5.7在temporary tablespace上做了改進。
已經實現將temporary tablespace從ibdata(系統表空間文件)中分離。
并且可以重啟重置大小,避免出現像ibdata難以釋放的問題。

下面所有的討論只針對InnoDB,并且指定了innodb_file_per_table,所用版本為MySQL 5.7.x


〇 新特性 · 共享臨時表空間(shared temporary tablespace):

共享臨時表空間出現于MySQL 5.7.1,為的是將臨時表空間從系統表空間(system tablespace)文件中獨立出來。該共享臨時表空間用于存儲非壓縮InnoDB臨時表(non-compressed InnoDB temporary tables)、關系對象(related objects)、回滾段(rollback segment)等數據。更多信息可以參考【MySQL 5.7 Reference Manual 8.4.4 Internal Temporary Table Use in MySQL

因為存放的數據特殊性,不會參與crash recovery,因此無需記錄redo log。


該共享臨時表空間默認大小為12MB。在實例關閉之后,將會被刪除。在實例啟動時則會被創建。

默認的,該共享臨時表空間存放在innodb_data_home_dir中的ibtmp1里,而innodb_data_home_dir默認為datadir。
所以一般該ibtmp1存放在datadir下,顯然,其路徑與共享表空間的路徑一樣,取決于innodb_data_home_dir。



新增參數innodb_temp_data_file_path,通過修改其值可以將該共享臨時表空間的文件名,擴展大小做修改。


比如在配置文件中加上innodb_temp_data_file_path = temp_tablespace:64M:autoextend
那么在啟動實例之后,會生成一個大小為64MB的temp_tablespace文件
-rw-r----- 1 root root   67108864 Jun 20 17:29 temp_tablespace

該參數默認出現于5.7.1,靜態,默認值為ibtmp1:12M:autoextend。


〇 新特性 · InnoDB臨時表統計信息優化

因為臨時表特性,是無法在SHOW TABLES;與通過information_schema.TABLES查詢到其元數據信息的。
老版本可能只能通過一些比較麻煩的方法來查看:
比如SHOW CREATE TABLE tmp_a\G

5.7版本之后,在I_S里增加了一個表來統計該表的元數據信息INNODB_TEMP_TABLE_INFO。
可以通過I_S來查看該表的定義:
    
  1. SELECT * FROM information_schema.INNODB_TEMP_TABLE_INFO;
  2. +----------+---------------+--------+-------+----------------------+---------------+
  3. | TABLE_ID | NAME          | N_COLS | SPACE  | PER_TABLE_TABLESPACE | IS_COMPRESSED |
  4. +----------+---------------+--------+-------+----------------------+---------------+
  5. | 68       | #sql2b79_35_0 | 4      | 37    | FALSE                | FALSE         |
  6. +----------+---------------+--------+-------+----------------------+---------------+
  7. 1 row in set (0.00 sec)

字段介紹:
TABLE_ID:表id
NAME:表名,這個名字對應的表結構為$NAME.frm,若該表為壓縮臨時表,對應的數據文件為$NAME.ibd,反之則無。
N_COLS:列的數量,1個被我顯示創建的列,其他3個為InnoDB的隱藏列(DB_ROW_ID, DB_TRX_ID, and DB_ROLL_PTR)
SPACE:臨時表的表空間id,總是非0,并且隨實例重啟動態變化,
PER_TABLE_TABLESPACE:如果為TRUE,則表明該臨時表有自己的臨時表空間(有自己的ibd文件),如果為FALSE,則表明該臨時表用共享表空間。
IS_COMPRESSED:如果為TRUE,則表明該表被壓縮,反之則未壓縮。


〇 新特性 · innodb_tmpdir

出現在5.7.11以后的版本,用于在做某些Online DDL時存放臨時數據。
innodb_tmpdir的值覆蓋tmpdir,此特性只針對于Online DDL生效。


〇 共享臨時表空間與tmpdir對比:

通過CREATE TEMPORARY TABLE ... 創建的表,該表定義會放在tmpdir下,默認為/tmp

tmpdir不是個新參數,一般也不需要指定,默認值為/tmp,此處還是提及并與共享臨時表空間做一個對比。
tmpdir參數用于指定臨時文件(temporary files)和臨時表(temporary tables)的存放目錄。
可以設定為一個集合并做輪詢調度(用:分割),如果要用,建議指定多個磁盤目錄以提高性能。

此外,對于顯式創建的臨時表(create temporary table):
與共享臨時表空間不同的是,tmpdir存儲的是compressed InnoDB temporary tables臨時獨立表空間

以下做一個測試,驗證一下:

參數檢查:

  1. SELECT @@innodb_temp_data_file_path, @@innodb_file_per_table, @@tmpdir, @@innodb_data_home_dir;
  2. +--------------------------------+-------------------------+----------+------------------------+
  3. | @@innodb_temp_data_file_path    | @@innodb_file_per_table | @@tmpdir  | @@innodb_data_home_dir |
  4. +--------------------------------+-------------------------+----------+------------------------+
  5. | ibtmp1:12M:autoextend          | 1                       | /tmp     | NULL                     |
  6. +--------------------------------+-------------------------+----------+------------------------+
  7. 1 row in set (0.00 sec)

先創建兩張臨時表,引擎均為默認的InnoDB,其中第一張指定行格式為COMRESSED,第二張不壓縮:

  1. root@localhost [test]> CREATE TEMPORARY TABLE compress_table (id int, name char(255)) ROW_FORMAT=COMPRESSED;
  2. Query OK, 0 rows affected (0.02 sec)

  3. root@localhost [test]> CREATE TEMPORARY TABLE uncompress_table (id int, name char(255)) ;
  4. Query OK, 0 rows affected (0.00 sec)

  5. root@localhost [test]> SHOW CREATE TABLE compress_table\G
  6. *************************** 1. row ***************************
  7.        Table: compress_table
  8. Create Table: CREATE TEMPORARY TABLE `compress_table` (
  9.   `id` int(11) DEFAULT NULL,
  10.   `name` char(255) DEFAULT NULL
  11. ) ENGINE=InnoDB DEFAULT CHARSET=latin1 ROW_FORMAT=COMPRESSED
  12. 1 row in set (0.00 sec)

  13. root@localhost [test]> SHOW CREATE TABLE uncompress_table\G
  14. *************************** 1. row ***************************
  15.        Table: uncompress_table
  16. Create Table: CREATE TEMPORARY TABLE `uncompress_table` (
  17.   `id` int(11) DEFAULT NULL,
  18.   `name` char(255) DEFAULT NULL
  19. ) ENGINE=InnoDB DEFAULT CHARSET=latin1
  20. 1 row in set (0.00 sec)

檢查一下兩張臨時表的表定義:

  1. root@localhost [test]> SELECT * FROM information_schema.INNODB_TEMP_TABLE_INFO;
  2. +----------+-------------+--------+-------+----------------------+---------------+
  3. | TABLE_ID | NAME        | N_COLS | SPACE  | PER_TABLE_TABLESPACE | IS_COMPRESSED |
  4. +----------+-------------+--------+-------+----------------------+---------------+
  5. | 73       | #sqlb48_3_1 | 5      | 58    | FALSE                | FALSE         |
  6. | 72       | #sqlb48_3_0 | 5      | 59    | TRUE                 | TRUE          |
  7. +----------+-------------+--------+-------+----------------------+---------------+
  8. 2 rows in set (0.00 sec)

根據TABLE_ID和IS_COMPRESSED和PER_TABLE_TABLESPACE參數
可得知,#sqlb48_3_0為compress_table,#sqlb48_3_1為uncompress_table

創建好了之后,檢查/tmp目錄,也就是tmpdir。

  1. # ll /tmp/
  2. total 88
  3. -rw-r----- 1 root root 8586 Jun 20 16:38 #sqlb48_3_0.frm
  4. -rw-r----- 1 root root 65536 Jun 20 16:38 #sqlb48_3_0.ibd
  5. -rw-r----- 1 root root 8586 Jun 20 16:39 #sqlb48_3_1.frm
  6. -rw-------. 1 root root 0 Jan 3 2014 yum.log

可以發現,兩張顯式創建的臨時表的【表定義文件】都被放到了tmpdir下。
此外,#sqlb48_3_0也就是IS_COMPRESSED為TRUE的那張壓縮表,ibd文件也放在了tmpdir文件中。

那么理論上,#sqlb48_3_1這張未壓縮的表的數據放到了ibtmp1中,也就是放到了共享臨時表空間中。

簡單驗證一下,驗證思路為兩張表插入大量數據。
并分別檢查ibtmp1文件和#sqlb48_3_0.ibd文件的大小變化:

對compress_table表:

  1. root@localhost [test]> INSERT INTO compress_table SELECT id, name FROM a limit 50000;
  2. Query OK, 50000 rows affected (1.20 sec)
  3. Records: 50000 Duplicates: 0 Warnings: 0
  4. (a表為一個測試數據用表)

  5. root@localhost [test]> \! ls -l /tmp
  6. -rw-r-----   1 root root 11534336 Jun 20 16:54 #sqlb48_3_0.ibd

  7. root@localhost [test]> INSERT INTO compress_table SELECT id, name FROM a limit 20000; 
  8. Query OK, 20000 rows affected (0.53 sec)
  9. Records: 20000  Duplicates: 0  Warnings: 0
  10. (a表為一個測試數據用表)

  11. root@localhost [test]> \! ls -l /tmp/*.ibd
  12. -rw-r-----  1 root root 14680064 Jun 20 16:55 #sqlb48_3_0.ibd

可以發現,針對壓縮的InnoDB臨時表,其數據放在tmpdir下的ibd文件中


再簡單測試一下非壓縮的InnoDB臨時表:

  1. root@localhost [test]> \! ls -l /data/mysql-data/mysql57-3357/datadir/ibtmp1
  2. -rw-r----- 1 root root 12582912 Jun 20 16:57 /data/mysql-data/mysql57-3357/datadir/ibtmp1

  3. root@localhost [test]> INSERT INTO uncompress_table SELECT id, name FROM a limit 50000;
  4. Query OK, 50000 rows affected (0.53 sec)
  5. Records: 50000 Duplicates: 0 Warnings: 0

  6. root@localhost [test]> \! ls -l /data/mysql-data/mysql57-3357/datadir/ibtmp1
  7. -rw-r----- 1 root root 79691776 Jun 20 17:02 /data/mysql-data/mysql57-3357/datadir/ibtmp1

顯然,非壓縮的InnoDB臨時表將數據存放在了共享臨時表空間。

tmpdir下的東西和共享臨時表空間最大的共同點以及特性就是,實例關閉之后,將會被刪除。


〇 slave_load_tmpdir

該參數也不是5.7的新伙計,默認值取決于tmpdir的參數。
用于存放slave上產生的特殊的臨時文件:
在master上出現LOAD DATA INFILE ... 時,被記錄到binlog并發送給slave,在SQL thread從relaylog提取數據時,寫入指定的目錄下,然后執行LOAD DATA LOCAL INFILE ...,結束之后則會刪掉這個文件。
增加這個參數是為了復制的可靠性和數據一致性。
如果默認放在tmpdir下,如果此時遭遇重啟,文件丟失,則會導致復制失敗。
如果master有使用這樣的語句,建議將該目錄指定在基于可靠存儲設備上。


〇 可能遇到的問題:

MySQL 5.7.6以后,開始支持32KB和64KB的page size,若將page size修改為32或者64KB,則不能使用ROW_FORMAT=COMPRESSED,該行格式能支持的最大page size為16KB。

若要保證ROW_FORMAT=COMPRESSED生效,innodb_file_format必須設置為Barracuda。



〇 參考文檔:

MySQL 5.7 Reference Manual 5.1.3 Server Option and Variable Reference
MySQL 5.7 Reference Manual 14.4.12 Temporary Tablespace
MySQL 5.7 Reference Manual 14.15.7 InnoDB INFORMATION_SCHEMA Temporary Table Information Table






向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

宁蒗| 离岛区| 永济市| 廉江市| 花垣县| 监利县| 高密市| 齐河县| 沧源| 太康县| 车险| 进贤县| 大竹县| 河间市| 茂名市| 简阳市| 太保市| 德惠市| 金溪县| 新建县| 天台县| 蚌埠市| 绩溪县| 宜黄县| 开原市| 泰顺县| 永靖县| 江孜县| 梁山县| 阿图什市| 双牌县| 乐安县| 永和县| 祁连县| 岳池县| 磐石市| 永宁县| 静安区| 内江市| 荃湾区| 南汇区|