开发效率提升60%,详解在极市平台上进行的全流程线上算法开发

2022 年 1 月 12 日 极市平台
↑ 点击 蓝字  关注极市平台


在我们实际算法开发的过程中,常常会遇到一些问题,例如算力不够用、资源利用率不高,真实场景数据集难以获取等。如果能有一套逻辑完整、资源全面又好上手的一站式开发工具,这些问题都能得到很好的解决。


极市平台便是面向这些AI算法开发问题所提出的解决方案。作为一个包含算法开发全流程的AI平台,极市平台可以实现从数据生产到算法落地一站式在线开发,包括编码、训练和测试,同时开发效率相比线下可提升60%以上。

不论是在极市平台参加竞赛、算法打榜还是项目,都需要在极市平台进行在线算法开发。 极市平台的功能模块十分完整,不仅有 开箱即用的开发环境,还有随时保存的云端编码、算力充足的智能训练以及规范快捷的自动测试。通过这些全面的算法开发基建支撑,在极市平台进行算法开发可以更专注于开发工作,从而大大提升开发效率。

今天我们就来简单的为大家介绍一下 极市AI算法开发平台的几大主要的功能板块以及它们的工作方式,之后我们还会带来每一个功能板块的详细技术原理和使用技巧,欢迎大家关注。

在线算法开发

极市AI算法开发平台包含编码、训练和测试三个相互隔离的环境其中编码环境是进行算法开发的环境,训练环境用于算法模型训练及模型生成,测试环境则用于评估算法模型的质量和性能表现。


编码

极市平台开发效率的提升主要得益于这几点功能:


1

配置了所有必要工具和主流深度学习框架的开发环境

2

根据习惯创建自定义镜像,并支持在所有开发任务中使用

3

提供云端IDE,并实时保存代码和数据备份

4

高质量的真实场景数据集

极市平台提供开箱即用的开发环境,它的编码环境安装配置了所有必要工具的云服务器实例(Linux),并且配备了主流的深度学习框架,包括TensorFlow、PyTorch、MXNet、DarkNet等,不需要进行繁琐的前置配置。


如果基础组件不满足开发需求,还可以通过 apt、pip 等工具来安装额外的软件。值得一提的是, 极市平台还可以根据开发习惯来创建自定义的镜像,配置好自定义镜像后,可以在所有的开发任务中使用,这样便能明显提升开发效率。

此外,极市平台的编码环境还提供 JupyterLab、Visual Studio Code 这两个云端 IDE,可以按照习惯进行选择或随时切换。编码环境所有代码都是实时保存的,也有完备的数据备份机制。只要有网络,就可以继续开发,完全不受时间和空间的限制。

高质量的数据是高质量模型的前提,在极市平台进行算法开发基本不用担心数据集的问题,因为极市平台会提供来自真实场景的数据集,并且已经做好相应数据标注


PS:因为数据集来自真实业务场景,所以其有较强的保密性要求,这也是编码环境、训练环境和测试环境相互隔离的原因之一。开发者无法在编码环境中直接接触完整的数据集,但可以在路径/home/data/ 下查看样例数据集。


训练

在编码环境中完成算法代码开发后,即可创建发起训练。训练任务成功启动后,平台会将编码环境及环境中的所有文件完整克隆为正式的训练环境,然后使用预置的训练数据集开始模型训练。


模型训练过程中,可以随时登录极市平台查看实时训练日志。训练任务结束后,平台还会提供训练日志、终端日志和结果曲线。


极市平台还有模型管理功能,每次训练得到的模型都会自动保存在模型列表当中,并支持选择当中任意版本再次训练或发起自动测试。当然,模型训练不一定需要从零开始,极市平台还支持上传加载本地预训练的模型进行训练。


测试

为了规范评估标准以及加速算法迭代,极市平台内置了自动测试框架JiTest,它由极视角独家首创,能快速、多维度自动评估模型质量,评估指标包括F1-score、FPS、硬件能耗值等。


进行模型自动测试的方法很简单,只需要按照极市平台的说明文档封装成标准测试SDK,就可以快速发起任务。与训练任务类似,极市平台支持查看实时日志,并在任务结束后提供完整的测试报告,根据报告内容便可以对当前的模型进行准确的评估。


最后,极市平台还预置了模型转换工具,能够快速的完成算法移植,并实现算法在不同架构的硬件平台上的推理与发布。



以上就是极市AI算法开发平台的基本功能介绍,在接下来的文章我们会更详细地解码这些功能。另外,极市平台已经上线了包括算法打榜、算法竞赛、深度学习课程以及公开数据集等多个模块,如果你还没有使用过极市平台,可以在这些板块进行尝试。(PS:极市平台还提供免费算力哦!

左右滑动查看更多

扫描下方二维码或点击【阅读原文】即可进入极市开发者平台。


如果觉得有用,就请分享到朋友圈吧!

△点击卡片关注极市平台,获取 最新CV干货

公众号后台回复“transformer”获取最新Transformer综述论文下载~


极市干货
课程/比赛: 珠港澳人工智能算法大赛 保姆级零基础人工智能教程
算法trick 目标检测比赛中的tricks集锦 从39个kaggle竞赛中总结出来的图像分割的Tips和Tricks
技术综述: 一文弄懂各种loss function 工业图像异常检测最新研究总结(2019-2020)


CV技术社群邀请函 #

△长按添加极市小助手
添加极市小助手微信(ID : cvmart4)

备注:姓名-学校/公司-研究方向-城市(如:小极-北大-目标检测-深圳)


即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群


每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~



觉得有用麻烦给个在看啦~   
登录查看更多
0

相关内容

在数学和计算机科学之中,算法(Algorithm)为一个计算的具体步骤,常用于计算、数据处理和自动推理。精确而言,算法是一个表示为有限长列表的有效方法。算法应包含清晰定义的指令用于计算函数。 来自维基百科: 算法
2021年中国云原生AI开发平台白皮书
专知会员服务
54+阅读 · 2021年12月4日
2021年中国AI开发平台市场报告
专知会员服务
72+阅读 · 2021年10月26日
【2021新书】机器学习模型生产部署实践,161页pdf,
专知会员服务
111+阅读 · 2021年6月11日
【TPAMI2021】基于知识锚点进化的AutoML
专知会员服务
21+阅读 · 2021年5月1日
【GitHub实战】Pytorch实现的小样本逼真的视频到视频转换
专知会员服务
35+阅读 · 2019年12月15日
烟雾识别冠军方案分享|极市打榜
极市平台
0+阅读 · 2022年4月11日
短袖短裤识别算法冠军方案总结 | 极市打榜
极市平台
3+阅读 · 2022年3月15日
白嫖3090!这个GPU云算力平台,我爱了!
计算机视觉中的图像标注工具总结
极市平台
1+阅读 · 2021年10月21日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2022年4月17日
Arxiv
12+阅读 · 2021年11月1日
Arxiv
11+阅读 · 2019年6月19日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员