Google Cloud ML Engine是什么,spring cloud gateway 限流-ESG跨境

Google Cloud ML Engine是什么,spring cloud gateway 限流

Google Cloud ML Engine是什么

1. Google Cloud ML Engine是什么？

Google Cloud Machine Learning (ML) Engine 是一項托管式服務，使開發(fā)者和數(shù)據(jù)科學家能夠構建卓越的機器學習模型并將其運用到生產(chǎn)環(huán)境中。Cloud ML Engine 提供訓練和預測服務，這些服務可以一起使用也可以單獨使用。Cloud ML Engine 是經(jīng)過實證的服務，被眾多企業(yè)用來解決各種問題，包括識別衛(wèi)星圖像中的云、確保食品安全，以及快速回復客戶電子郵件（回復速度可提升到原來的四倍）。

可以提供模型訓練、預測（在線預測、批量預測）、部署多個框架（TF、sklearn、XGBoost、Keras）

參考文檔：https://cloud.google.com/mlengine/

2. 模型訓練、預測流程

python代碼形式；

數(shù)據(jù)和模型都存儲在Cloud Storage bucket中；

sklearn示例代碼

XGBoost示例代碼

生成py文件

導入依賴庫；

從Cloud Storage中下載數(shù)據(jù)；

導入數(shù)據(jù)；

模型訓練并保存；

導出模型至Cloud Storage；

模型格式：

sklearn模型格式joblib和pkl（pickle），xgboost模型格式joblib、bst和pkl（pickle）

參考文檔：https://cloud.google.com/mlengine/docs/scikit/gettingstartedtraining#createmodeltrainingcode

打包模型

按照規(guī)定生成文件夾，并將上一步中生成的模型訓練py代碼放入文件夾中；

使用gcloud命令本地調(diào)試代碼；

使用gcloud命令上傳模型，需要配置相關參數(shù)（如：Cloud Storage、訓練代碼py文件名、python版本等）；

在Cloud ML Engine上運行訓練代碼；

參考文檔：https://cloud.google.com/mlengine/docs/scikit/gettingstartedtraining

模型在線預測（又稱HTTP Prediction）

需要指定模型名稱、輸入文件、使用框架名稱（運行某個模型并獲取結(jié)果時可能需要定制化開發(fā)）；

使用gcloud命令獲取預測結(jié)果；

相當于需要進行預測時，就發(fā)一條請求；

請求中的輸入文件為一個json（官網(wǎng)上為本地文件，不知道可否使用Cloud Storage中）；

響應中為預測結(jié)果；

參考文檔：https://cloud.google.com/mlengine/docs/scikit/quickstart

模型批量預測

與模型預測類似

需要指定輸入輸出文件位置（輸入文件需存儲在Cloud Storage）、模型名稱、使用的計算節(jié)點數(shù)（看起來可以使用分布式計算）等；

實時性低，不像在線預測那樣，一個請求對應一個返回；

似乎沒有看到什么定時器之類的功能，看起來Cloud ML Engine的batch prediction只是一次性的；

參考文檔：https://cloud.google.com/mlengine/docs/tensorflow/batchpredict

3. notebook中的思考

如果想在notebook中做這件事（自學習、批量預估），有幾個點值得思考；

數(shù)據(jù)從哪拿？直連hdfs拿、從pdms拿

任務的監(jiān)控？

任務在哪里跑？直接在當前pod、另啟一個新的

結(jié)果的輸出？輸出在ipynb文件中、直接輸出到hdfs、輸出在pdms

特別聲明：以上文章內(nèi)容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關于作品內(nèi)容、版權或其它問題請于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。