背景

我們知道現在深度學習在使用大型數據集掌握一項任務（檢測，分類等）方面取得了巨大的成功，但這并不是真正我們追求的“人工智能”。具體來說，我們可能訓練了一個能做物理題很高分的學生，但是他也只能做物理題而已，面對數學題他只能吞下零分的命運；其次，在面對新的任務（數學題）的時候，我們的學生仍然需要大量的數據（數學題）進行訓練，而在學習物理的時候積累下的學習方法（先驗知識）卻基本幫不上忙。

以上的問題可以抽象為一個具體的問題：現在的深度學習往往只是在學習某一類特定的任務，而不是在學習自身“學習”的能力，這也是Meta-Learning的定義：學習如何學習的能力，而不是學習具體的某一個任務。假如我們的算法學會了怎么學習，當面對一個新的任務的時候，有了學習能力（先驗知識）就可以只用少量的數據進行快速的學習，而這種學習如何學習的方式才是真正的“人工智能”。

Meta-Learning 的算法有很多，有些算法可以針對不同的訓練任務，輸出不同的神經網絡結構和超參數，例如 現在很火的 Neural Architecture Search (NAS) 和 AutoML。本文主要介紹另外一種Meta-Learning算法：MAML，它不改變深度神經網絡的結構，只改變網絡的初始化參數。

Meta-Learning的數據劃分

首先我先用一段不嚴謹的語言描述一下Meta-Learning：我們假定傳統的深度學習算法是給100道化學題讓他學會做化學題（再用50道化學題進行測試），MAML算法則是用5道數學題，5道語文題，5道物理題來讓算法學會做5道化學題，具體來說先通過5道數學、5道語文、5道物理題來讓算法掌握學習的能力（分別用2道數學、2道語文、2道物理題來驗證學習效果），然后再給一點點化學題（5題）訓練就可以讓算法掌握化學題的做法。如果說傳統深度學習是在學習一個任務，那么MAML則是在遍歷多個任務后找到一組敏感的參數，在新任務到來的時候幫助模型利用這組參數快速地將先驗知識轉移到新任務上。自然地，Meta-Learning的數據集肯定不是像傳統DL那樣簡單劃分為訓練集和測試集：如上圖所示，在Meta-Learning上，我們不再直接叫train和test了，而是叫Meta-train和Meta-test。在上圖中，每一行都是一個task（例如數學題、物理題），包含了task的train set和test set，圖中展示就是所謂的5way 1shot 設定，也就是一個task包含5個類，每一個類一個訓練樣本，然后給你2個測試樣本測試。我們可以把每一個task當做一個Meta-Learning的訓練樣本。我們要通過多種task的訓練，從而在Meta-test的時候也就是在新的task上取得好效果。出于習慣，我們把meta-training中的training data叫做support set、test set叫做query set。

這部分主要是掌握Meta-Learning的數據集是如何劃分的即可，具體MAML的細節下一部分會具體闡述。

MAML算法

MAML算法主要分成三步：

• （1）     采樣任務數據：首先會從meta-training里面采樣一個batch size的training data，比如batch size為3的時候我們就會隨機采樣3個任務的數據（比如做數學題，做物理題，做語文題）。
• （2）     計算梯度和參數：對 training data 中每一個 task 以及其對應的 label 計算屬于每個 Task 的 gradient 與更新后的 model 參數。（這里是     第一次計算梯度）
• （3）     更新模型：當有了每個 task 利用 training data of meta-train（即support set）得到的新模型參數后，可以利用test data of meta-train（即query set）驗證，並且加總所有任務的loss，對原本模型參數（注意不是對第一次求的梯度參數）微分并真正的更新一次參數。（     第二次計算梯度）

MAML的思考

整個算法的流程還是比較簡潔的，讀者可能會覺得為什么不和往常一樣計算一次梯度就好了，為什么要算兩次，我的理解是：對于一個有很多任務要學習的模型，我們要優化這個模型，第一個想法可能是找到一個點（參數空間上）讓所有的任務在這個點是最優解，聽起來很強，但想想都覺得很困難，平時我們訓練單一任務SGD找最優解都要迭代那么久，怎么可能一下子就可以找到一個點是所有任務的最優解？所以MAML把問題轉換為找到一個點，讓這個點距離各個任務的最優解最近，讓這個點只需要簡單地梯度下降一次就可以找到最優解，顯然這種想法更加的科學。回到我們一開始的例子：我們想在計算機視覺漫談公眾號發掘一位有考上清華潛力的全才，只計算一次梯度的想法相當于我先在這些人里面找語文滿分的，然后在語文滿分的中找數學滿分的，再在數學滿分里面找英語滿分的……，這肯定很難。而計算兩次梯度的想法相當于我在所有關注計算機視覺漫談公眾號中的人中找到很聰明的那個，這個人不一定語文第一名，但他很聰明，全能型選手，學啥都很快很好，顯然通過第二種方法更能挖掘出一位有考上清華潛力的全才。

另外有接觸過遷移學習的同學可能會覺得元學習和遷移學習很像，在我的理解上兩者其實沒有明顯的界限，這里引用王晉東博士的話：你可以說元學習是強調從不同的若干小任務小樣本來學習一個對未知樣本未知類別都有好的判別和泛化能力的模型，但其實你想想，難道這不就是知識遷移嗎？從遷移上來看，你可以說學習一個可遷移的特征或模型，可以從A遷移到B。但這些可以被遷移過提純的東西，難道不能被叫做元知識嗎？所以其實是殊途同歸的，都應該一起聯系起來看。