保姆级教程:深度学习线上算法开发「环境配置」指南|极市

2022 年 3 月 31 日 极市平台
↑ 点击 蓝字  关注极市平台


虽然深度学习自身并没有太多环境要求,但是对于每位开发人员来说,在进行算法开发前配置好一个完善的开发环境,对于完成后续整个开发流程而言都是至关重要的。

上一期「开发效率提升60%,详解在极市平台上进行的全流程线上算法开发」中,我们简单地为大家介绍了极市AI开发平台的的几大主要的功能板块。

在本文中,我们将详细为大家讲解在极市平台算法开发第一步——环境搭建的具体细节以及使用技巧。

第一步:创建实例

在极市平台上进行算法开发,需要首先配置好相应的实例。实例可理解为一台云服务器,包含 CPU、GPU、内存、操作系统、网络配置、磁盘等基础的计算组件,不同赛题/项目对应着不同的实例。实例是基于镜像进行创建的,镜像可类比理解为云服务器的装机光盘,是一种云服务的配置模板。


在极市平台可以基于两类镜像创建实例,第一类是平台提供的基础镜像,这类基础镜像已预置置深度学习框架,基本上可以开箱即用。



第二类则是 自定义镜像,所谓自定义镜像就是在平台基础上再加上自己的手动配置。(在“个人中心”-“开发环境管理”进行设置)


自定义镜像不仅可以随时修改、随时保存,还可以在后续所有极市平台的在线开发任务中直接使用。

Note


自定义镜像功能现已全新升级!最新的自定义镜像功能支持所有极市平台算法开发场景,包含极市打榜的所有榜单、极市竞赛以及极市项目。


第二步:软件配置

实例创建好后,就可以开始进一步按需配置软件。在实例已启动的情况下,我们可以通过“在线编码”选择任意一款IDE登入实例。



然后通过终端命令,如 apt、pip、git来安装升级相关软件或依赖库。

(JupyterLab 里打开终端)


(VS Code里打开终端)

如果当前配置的是自定义开发环境(即自定义镜像),在配置完成后,选择保存配置。之后在赛题/项目创建实例时,可以直接复用此前设定好的自定义镜像,一键完成环境配置。


Tip 1:使用外部文件


如果在开发的过程中,还有需要上传和使用的个人文件,可以通过极市平台提供的文件管理功能进行上传。

上传步骤:进入个人中心-文件管理,进行文件上传,然后复制文件地址,使用 wget 等命令,将其下载到制定目录。


Tip 2:代码备份


代码丢失是在极市平台进行算法开发时不需要担心的问题,因为极市平台配备了代码自动保存备份机制。只要代码保存在 /project/train/src_repo/ 和 /project/ev_sdk/ 两个目录下,内容就会被实时保存起来。即使实例重建,也不用担心代码丢失。


看完文字版介绍,如果你还对极市平台的环境配置过程存在疑问,可以观看下方极市平台的操作视频。在 视频中, 整个 环境配置的 操作流程都会有 完整 的演示:

以上就是极市AI算法开发平台进行环境配置的完整指南,在接下来的文章我们还会带来其他开发模块的完整教程,欢迎大家持续关注。


目前,极市平台已经上线了包括算法打榜、算法竞赛、深度学习课程以及公开数据集等多个模块,如果你还没有使用过极市平台,可以在这些板块进行尝试。(PS:极市平台还提供免费算力哦!)

左右滑动查看更多

扫描下方二维码 或点击 阅读原文 即可进入极市开发者平台。


如果觉得有用,就请分享到朋友圈吧!

△点击卡片关注极市平台,获取 最新CV干货

公众号后台回复“transformer”获取最新Transformer综述论文下载~




CV技术社群邀请函 #

△长按添加极市小助手
添加极市小助手微信(ID : cvmart4)

备注:姓名-学校/公司-研究方向-城市(如:小极-北大-目标检测-深圳)


即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群


每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~



觉得有用麻烦给个在看啦~   
登录查看更多
5

相关内容

专知会员服务
27+阅读 · 2021年6月2日
如何构建你的推荐系统?这份21页ppt教程为你讲解
专知会员服务
64+阅读 · 2021年2月12日
实践教程 | 轻松入门模型转换和可视化
极市平台
0+阅读 · 2022年3月5日
实践教程|Docker使用记录
极市平台
0+阅读 · 2022年1月7日
社区分享 | 谷歌云(GCP)平台命令行应用实践
TensorFlow
0+阅读 · 2021年11月23日
10个深度学习软件的安装指南(附代码)
数据派THU
17+阅读 · 2017年11月18日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
24+阅读 · 2021年1月25日
A Survey on Bayesian Deep Learning
Arxiv
63+阅读 · 2020年7月2日
VIP会员
相关VIP内容
专知会员服务
27+阅读 · 2021年6月2日
如何构建你的推荐系统?这份21页ppt教程为你讲解
专知会员服务
64+阅读 · 2021年2月12日
相关基金
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员