怎么使用Python提供高性能計算服務

這期內容當中小編將會給大家帶來有關怎么使用Python提供高性能計算服務，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

前言

python具有豐富的庫，并且很容易作為膠水語言很容易與c/c++進行交互集成。

因此為了適應快速變化的業務和兼顧計算效率，在上層采用python作為server提供service，在底層采用c/c++進行計算是一種對于算法開發者非常適宜的方式。

python flask庫提供http接口以及相關demo頁面，gunicorn提供多核并行能力，底層c++庫提供單線程上的計算。

下面通過一個例子說明這種架構。代碼地址：python_hps

準備

在實驗開始之前，需要安裝flask、gunicorn、apach bench tool等工具。

注：所有實驗均在linux系統中進行。測試機器為4核虛擬機。

sudo pip install flask sudo pip install gunicorn sudo apt-get install apache2-utils

計算

計算部分模擬真實計算，因此計算量比較大，在我測試的虛擬機上單核單線程跑400ms左右。

c++核心計算部分，隨便寫的：

API_DESC int foo(const int val) {     float result = 0.0f;     for(int c=0;c<1000;c++)     {         for(int i=0;i<val;i++)         {             result += (i);             result += sqrt((float)(i*i));             result += pow((float)(i*i*i),0.1f);         }     }     return (int)result; }

python wrapper，采用ctypes：

#python wrapper of libfoo class FooWrapper:     def __init__(self):         cur_path = os.path.abspath(os.path.dirname(__file__))         self.module = ctypes.CDLL(os.path.join(cur_path,'./impl/libfoo.so'))     def foo(self,val):             self.module.foo.argtypes = (ctypes.c_int,)         self.module.foo.restype = ctypes.c_int         result = self.module.foo(val)         return result

flask http API：

@app.route('/api/foo',methods=['GET','POST']) def handle_api_foo():     #get input     val = flask.request.json['val']     logging.info('[handle_api_foo] val: %d' % (val))     #do calc     result = fooWrapper.foo(val)     logging.info('[handle_api_foo] result: %d' % (result))     result = json.dumps({'result':result})     return result

單核服務

首先測試python單核服務，同時也是單線程服務(由于python GIL的存在，python多線程對于計算密集型任務幾乎起反作用)。

• 啟動服務

在script目錄下執行run_single.sh，即

#!/bin/sh #python export PYTHONIOENCODING=utf-8 #start server cd `pwd`/.. echo "run single pocess server" python server.py cd - echo "server is started."

• 測試服務

另外打開一個終端，執行script目錄下的bench.sh，即

#!/bin/sh ab -T 'application/json' -p post.data -n 100 -c 10 http://127.0.0.1:4096/api/foo

• 測試結果

CPU運轉

ab測試結果

可以看出CPU只用了1個核，負載是2.44 request/second。

多核

• 啟動服務

在script目錄下執行run_parallel.sh，即

#!/bin/sh #python export PYTHONIOENCODING=utf-8 #start server cd `pwd`/.. echo "run parallel pocess server" gunicorn -c gun.conf server:app cd - echo "server is started."

其中gun.conf是一個python腳本，配置了gunicorn的一些參數，如下：

import multiprocessing bind = '0.0.0.0:4096' workers = max(multiprocessing.cpu_count()*2+1,1) backlog = 2048 worker_class = "sync" debug = False proc_name = 'foo_server'

• 測試服務

另外打開一個終端，執行script目錄下的bench.sh，即

#!/bin/sh ab -T 'application/json' -p post.data -n 100 -c 10 http://127.0.0.1:4096/api/foo

• 測試結果

CPU運轉

ab測試結果

可以看出CPU用滿了4個核，負載是8.56 request/second。是單核的3.5倍左右，可以任務基本達成多核有效利用的的目的。

總結

使用flask、gunicorn基本可以搭建一個用于調試或者不苛責過多性能的服務，用于算法服務提供非常方便。本文提供該方案的一個簡單示例，實際業務中可基于此進行修改完善。

上述就是小編為大家分享的怎么使用Python提供高性能計算服務了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業資訊頻道。