說說explain中的Using filesort

有時查看SQL的執行計劃時, 會遇到Using filesort, 如下.

mysql> explain select * from tb1 where col1 = 4 order by col2\G

*************************** 1. row ***************************

           id: 1

  select_type: SIMPLE

        table: tb1

         type: ref

possible_keys: idx_col1

          key: idx_col1

      key_len: 4

          ref: const

         rows: 1

        Extra: Using where; Using filesort

1 row in set (0.00 sec)

這個filesort是說, MySQL要多做一次額外的排序, 確切的說是快速排序(Quicksort).

先初步了解下Quicksort排序的概念(From Wikipedia). 

Quicksort is a divide and conquer algorithm. Quicksort first divides a large array into two smaller sub-arrays: the low elements and the high elements. Quicksort can then recursively sort the sub-arrays.

The steps are:

1. Pick an element, called a pivot, from the array.

2. Partitioning: reorder the array so that all elements with values less than the pivot come before the pivot, while all elements with values greater than the pivot come after it (equal values can go either way). After this partitioning, the pivot is in its final position. This is called the partition operation.

3. Recursively apply the above steps to the sub-array of elements with smaller values and separately to the sub-array of elements with greater values.

再看下Python對于其的一個實現.

#!/usr/bin/env python

# -*- coding: utf-8 -*-

from __future__ import print_function

def quicksort(array):

    if len(array) < 2:

        return array

    else:

        pivot = array[0]

        less = [i for i in array[1:] if i <= pivot]

        greater = [i for i in array[1:] if i > pivot]

        return quicksort(less) + [pivot] + quicksort(greater)

print(quicksort([10, 5, 2, 3]))

再回來說filesort, 在MySQL中有the Original, Modified和In-Memory filesort Algorithm 3種實現. 

The Original filesort Algorithm

1. 掃描或根據WHERE條件, 獲取所有記錄.

2. 把每條記錄的sort key和row ID, 即<sort_key, rowid>, 放入sort buffer中. 若sort buffer滿了, 就在內存中進行一次quicksort, 然后將<sort_key, rowid>寫入臨時文件, 并記錄指向指針. 重復該過程, 直到讀取了所有記錄.

3. 進行若干次multi-merge操作, 將所有row ID寫入結果文件.

4. 根據row ID再次獲取記錄.

很容易發現, 上面的步驟1和4, 一共讀取了2遍記錄, 所以也就有了下面的改進實現.

The Modified filesort Algorithm

較Original改變的地方是, 在第2步記錄的是sort key和涉及到的其它列, 即<sort_key, additional_fields>, 不是row ID了. 第3步完成后, 就可得到結果了.

這個算法中<sort_key, additional_fields>占用空間比<sort_key, rowid>要大, 若排序數據量很大的情況下, 會頻繁寫臨時文件, 為了避免其, 引入了max_length_for_sort_data參數.

The In-Memory filesort Algorithm

那么排序數據量比較小的情況下呢, 小到在sort buffer中就可完成排序, 針對這種情況又有了In-Memory filesort. 這時MySQL把sort buffer當成priority queue使用, 避免使用臨時文件.

上面可以看到MySQL已在盡量優化排序了, 也從側面說明其不希望排序的出現, 如最開始的SQL, 建立一個(col1, col2)的聯合索引, 就可以避免排序了, 該原因還要從B+樹索引說起...

若感興趣可關注訂閱號”數據庫最佳實踐”(DBBestPractice).