如何部署TensorFlow模型

如何部署TensorFlow模型，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

TensorFlow模型部署

1. docker鏡像拉取

# Download the TensorFlow Serving Docker image and repo
docker pull tensorflow/serving

2. 保存模型

# 保存模型的時候需要設置模型的版本號字段，不然部署到docker后會報找不到模型版本的錯誤
model.save("./data/models/zsh_test/1")

3. 部署模型

3.1 單個模型部署

# 映射restapi端口8501，grpc端口8500
# 映射模型定義的路徑
# 定義模型名稱
docker run -p 8501:8501 \
  -v /path/to/model/models/zsh_test:/models/zsh_test/ \
  -e MODEL_NAME=zsh_test -t tensorflow/serving

# 模型結構
~/PycharmProjects/pytorch-study/data/models
? tree
.
└── zsh_test
    └── 1
        ├── assets
        ├── saved_model.pb
        └── variables
            ├── variables.data-00000-of-00001
            └── variables.index

4 directories, 3 files

3.2 多個模型部署

• 目錄結構

  在模型保存文件夾models下保存多個模型，并添加models.config配置文件，配置模型基本信息。

  ~/PycharmProjects/pytorch-study/data
  ? tree
  .
  ├── exp_all_data.csv
  ├── exp_all_result.csv
  └── models
      ├── models.config
      ├── zsh_test
      │   └── 1
      │       ├── assets
      │       ├── saved_model.pb
      │       └── variables
      │           ├── variables.data-00000-of-00001
      │           └── variables.index
      └── zsh_test1
          └── 1
              ├── assets
              ├── saved_model.pb
              └── variables
                  ├── variables.data-00000-of-00001
                  └── variables.index
  
  9 directories, 9 files

  
  

• 配置文件

  model_config_list:{
      config:{
        name:"zsh_test",
        base_path:"/models/zsh_test",
        model_platform:"tensorflow"
      },
      config:{
        name:"zsh_test1",
        base_path:"/models/zsh_test1",
        model_platform:"tensorflow"
      }
  }

  
  

# 部署多個模型
docker run -p 8501:8501 \
-v /path/to/model/models/:/models/ \
-t tensorflow/serving --model_config_file=/models/models.config

4. 測試API

 # http://ip:prot/version/models/model_name
 # 查看模型信息
 curl http://localhost:8501/v1/models/zsh_test
 
 response:
 {
 "model_version_status": [
  {
   "version": "1",
   "state": "AVAILABLE",
   "status": {
    "error_code": "OK",
    "error_message": ""
   }
  }
 ]
}

# 調用模型
curl --location --request POST 'http://localhost:8501/v1/models/zsh_test:predict' \
--header 'Content-Type: application/json' \
--data '{"instances": [test_data]
}'

看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注億速云行業資訊頻道，感謝您對億速云的支持。