如何進行TensorFlow與PyTorch對比

如何進行TensorFlow與PyTorch對比，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

用TensorFlow還是PyTorch？從TensorFlow開始學起還是PyTorch？在一年前，這個問題毫無爭議，當然是TensorFlow. 但時過境遷，現在的情況大不一樣了，下面就來分析對比一下這兩個主流框架。

首先看一下最近的統計數據，下圖的數據是從arxiv論文中統計得到的。上面的黃線是TensorFlow的使用比例，下面的紅線是PyTorch的使用比例，可以看出，最近的數據兩者已經不差上下，甚至紅線PyTorch在2019.6要略勝一籌。

右邊的條形圖是從1月到6月的累計數據，TensorFlow占比還是要略高一點，但是23%的增長率明顯要低于PyTorch的194%.也就是說，現在TensorFlow和PyTorch在學術界的使用率上來說已經不差上下了。

來源：https://www.oreilly.com/ideas/one-simple-graphic-researchers-love-pytorch-and-tensorflow

決定一個框架的使用率有哪些因素呢？我總結有以下四個方面：

1. 易用性

2. 速度

3. 算子數量

4. 開源模型

第一是易用性。PyTorch自從2018年12月PyTorch 1.0 stable版本正式發布以來，只有半年多的時間，能迅速增長易用性功不可沒。PyTorch的易用性一方面是debug簡單，可以直接設置斷點查看各個tensor的值，另一方面tensor可以和numpy格式互相轉換調用，可以使用python的控制流，大大擴充了其靈活性（TensorFlow推出的eager模式有類似目的和效果）。

第二是速度。訓練是一個費時費力的過程，用GPU訓練一兩天是正常，甚至有的大模型大數據量需要十天半個月（例如BERT large），因此訓練速度也是大家比較關心的一個指標。PyTorch雖然提供了非常靈活的接口，采用動態圖機制，但是也做了非常多的優化，比如異步調用，盡量流水執行等方式，使得其速度和TensorFlow相當，甚至一些場景優于TensorFlow.

第三是算子數量。這一點TensorFlow無疑是最大的贏家，提供的python API達到8000多個（參見https://tensorflow.google.cn/api_docs/python），基本上不存在用戶找不到的算子，所有的算法都可以用TensorFlow算子拼出來。不過API過多也是個負擔，又是low level又是high level，容易把用戶整暈。PyTorch由于起步較晚，數量少有劣勢，但質量上有優勢。

第四是開源模型。這點其實也非常重要，試想一下，現在你要用BERT，這個是由Google研究發布，基于TensorFlow開源的，那自然只能選TensorFlow上手了。雖然后續有人開源PyTorch的版本，但畢竟時間上要晚一些，而且非官方的，質量不能得到100%的保證，關注度會大打折扣。不過PyTorch這方面也非常重視，之前把何凱明挖過去，構建了自己的圖像檢測、分割開源庫Detectron，對提升PyTorch的使用率起了很大作用。

總得來說，這兩種框架是都需要必備的，掌握各自的使用技巧，多看新的模型，才能立于不敗之地~

附錄：

TensorFlow models:

bert

boosted_trees

mnist

resnet

transformer

wide_deep

adversarial_crypto

adversarial_text

attention_ocr

audioset

autoencoder

brain_coder

cognitive_mapping_and_planning

compression

cvt_text

deep_contextual_bandits

deep_speech

deeplab

delf

differential_privacy

domain_adaptation

fivo

gan

im2txt

inception

keypointnet

learning_to_remember_rare_events

learning_unsupervised_learning

lexnet_nc

lfads

lm_1b

lm_commonsense

maskgan

namignizer

neural_gpu

neural_programmer

next_frame_prediction

object_detection

pcl_rl

ptn

marco

qa_kg

real_nvp

rebar

resnet

seq2species

skip_thoughts

slim

street

struct2depth

swivel

syntaxnet

tcn

textsum

transformer

vid2depth

video_prediction

PyTorch models

AlexNet

VGG

ResNet

SqueezeNet

DenseNet

Inception v3

GoogLeNet

ShuffleNet v2

MobileNet v2

ResNeXt

FCN ResNet101

DeepLabV3 ResNet101

Faster R-CNN ResNet-50 FPN

Mask R-CNN ResNet-50 FPN

Keypoint R-CNN ResNet-50 FPN

關于如何進行TensorFlow與PyTorch對比問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業資訊頻道了解更多相關知識。