模型web迁移延时太长，机器学习神器Cortex 能一键解决吗？

作者 | 蒋宝尚

编辑 | 贾伟

机器学习算法部署平台Cortex宣布推出 Cortex V0.13 。

据介绍，这次的Cortex v0.13支持了所有的主要机器学习框架。

Cortex作为一款为生产Web服务的工具，能够和AWS服务结合起来，重点解决jupyter notebook到生产的缺乏基础框架的问题。

当前的TensorFlow，PyTorch或者其他机器学习框架需要的技能与处理Docker、Kubernetes、NVIDIA驱动程序的技能并不兼容。也就是说机器学习模型从笔记本迁移到云上面可能需要花费数周的时间。

这种延迟往往导致大量的计算资源产生浪费，并且用户体验有很高的提升空间。

而Cortex v0.13提供了大量新特性，提升了使用体验，能够更方便快捷地将机器学习模型预测作为网络服务部署到生产流程中。

具体而言，此次的Cortex v0.13改进了自动扩展、多框架支持、CPU/GPU支持、预测监测、最小化的声明式配置、滚动更新、日志流等功能。

• 自动扩展：Cortex能够自动调整API，已处理生产环境下的工作负载，避免高延迟，减少AWS账单；
• 多框架支持：Cortex广泛支持TensorFlow,Keras, PyTorch, Scikit-learn, XGBoost的多个机器学习框架；
• CPU/GPU支持：Cortex可在CPU或GPU基础设施上运行推理任务；
• 滚动更新：直接将更新应用在API上，轻松将Web服务过渡到新模型，不会产生延迟；
• 日志流：可以Cortex中实时查看日志，从而帮助简化流程；
• 预测监测：可检测网络量度，并追踪预测结果；
• Spot 实例：能够享受最高的折扣；
• 最小化配置：部署配置仅由一个cortex.yaml文件定义。

总的来说，整个Cortex采用TensorFlow，Kubernetes和Docker等开源工具，并将它们与CloudWatch等AWS服务相结合，能够为开发人员提供了一个API来部署其模型；然后，将模型集装箱化，然后将其部署到幕后的Kubernetes上，Cortex会自动扩展工作量，如果计算量很大，可以切换到GPU。

开源Github，手把手教你如何配置

目前，创始人也公布了Github地址，给出了大量的运行示例，包括，TensorFlow、PyTorch、XGBoost、scikit-learn。

github地址：https://github.com/cortexlabs/cortex/tree/0.12/examples

如上所示，在TensorFlow的分类中，给出了鸢尾花分类、文本生成、情绪分析、图像分类等例子；PyTorch的例子包括，阅读理解、语言生成、图像分类等等。

机器学习神器？网友评论褒贬不一！

Cortex的更新，其创始人也在Reddit 论坛上更新了通知。在Reddit帖子下面，网友也发表了评论：有人认为能够加速机器学习模型的训练，也有认为在支持功能上还有待改进。

为啥要将Cortex和AWS绑在一块？为啥不支持 所有的k8s集群？为啥不能通过运行Minikube在本地测试Cortex？——来自网友的灵魂三连问

目前也在Google Cloud中，他们提供ML预测服务，但是他们都不使用容器，我认为这是一大优势。

最后，你对最新版的Cortex有何评论，在文末给我们留言吧~

参考链接：

https://towardsdatascience.com/cortex-v0-13-bba9b9b59131

点击“阅读原文” 前往 问卷填写页面