怎么進行AutoML算法分析

今天就跟大家聊聊有關怎么進行AutoML算法分析，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據這篇文章可以有所收獲。

AutoML是什么

顧名思義，Auto：Automated自動的；ML：Machine Learning機器學習. 因此AutoML即為自動機器學習。

對于機器學習的算法工程師而言，設計適用于特定問題的機器學習模型是一個非常復雜的任務。需要選擇相應的神經網絡架構、訓練過程、正則化方法、超參等，這些都對最終的性能有很大的影響，需要不斷嘗試。因此深度學習算法工程師也被稱為調（煉）參（丹）工程師。

AutoML的目標就是使用自動化的、數據驅動方式來做出上述的決策。用戶只要提供數據，通過足夠的算力，系統自動決定最佳的方案。各個領域專家不再需要苦惱于學習各種機器學習算法。

在AutoML領域，當前引起學者關注最多的便是NAS（Neural Architecture Search，網絡結構搜索），對應的算法也非常之多。在automl.org上已經列出了兩百多篇相關論文：

https://www.automl.org/automl/literature-on-neural-architecture-search/

對應的算法大致可以分為三類：

1. 基于RL(Reinforcement Learning, 強化學習)的離散搜索算法：NASNet，ENAS

2. 基于進化算法（如遺傳算法，蟻群算法，模擬退火等）的離散搜索算法：CARS，EENA

3. 基于梯度下降的連續可微搜索算法：DARTS，FBNet

本文主要介紹第一類，基于RL的離散搜索算法。

基于RL的NAS算法

這類算法中較優秀的是Google Brain 2018年在Learning Transferable Architectures for Scalable Image Recognition中提出的NASNet，流程如下圖所示。整個結構由controller和validator兩部分組成，算法迭代步驟：

• controller負責采樣child網絡

• 采樣結果交給validator評估accuracy

• 評估的accuracy作為reward去訓練controller

• 返回第一步進行循環，直到達到結束條件（達到采樣個數或者accuracy達標）

最終花費了2000 GPU hours搜索得到了一系列的結構，表現優異，在相同參數量/計算量下，accuracy能達到當時的最好水平，超越了Inception，ResNet，MobileNet，SENet等一系列優秀網絡。

 最終的搜索到的網絡結構：

其中，normal cell和reductioncell分別為：

看完上述內容，你們對怎么進行AutoML算法分析有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注億速云行業資訊頻道，感謝大家的支持。