PyCharm + Docker:打造最舒适的深度学习炼丹炉

2019 年 7 月 2 日 大数据技术

作者:刘震

来源:https://zhuanlan.zhihu.com/p/52827335


一般炼丹都在服务器上,很少有人在本机跑代码的。之前自己捣鼓怎么用本地的编辑器配上远程服务器的环境来营造一个最舒服的姿势。最开始用VS Code的SFTP插件,但是用着还是不顺手,因为不能用远程的环境,最后还是选择了强大的PyCharm。下面的这个教程最开始只是自己用,后来写了一篇博客分享给实验室的人,没想到大家都开始用上了。这次专门写一篇更详细的供有缘人使用。


开始之前你可以对比以下条件来确定自己是否真的需要这样做:


  • 使用PyCharm作为主力IDE写Python而不是其他(我非常推荐大家用)

  • 深度学习炼丹师(当然你可以不是,但如果是,你会更舒服)

  • 服务器在远程或者局域网(局域网的体验最佳)

  • 使用Docker(能够熟练使用最佳)


当你配置完成之后,你将能在本地PyCharm IDE上使用远程服务器的Python解释器和环境进行调试和运行,同时能够很方便的将代码在本地和服务器上进行同步。 


OK,废话不多说,正式开始我们的PyCharm+Docker的远程环境配置之旅。 


首先你需要满足以下两个必备条件: 


  • 使用PyCharm专业版,记住一定是专业版(社区版不提供远程服务)

  • 在服务器上安装docker和nvidia-docker

1. 新建docker container


首先按照如下命令新建一个docker容器(关于docker的使用这里不废话,建议不熟悉的童鞋先去学一下如何使用docker,教程很多):


sudo nvidia-docker run -it -p [host_port]:[container_port](do not use 8888) --name:[container_name] [image_name] -v [container_path]:[host_path] /bin/bash


举个栗子:


sudo nvidia-docker run -p 5592:5592 -p 5593:5593 -p 8022:22 --name="liuzhen_tf" -v ~/workspace/liuzhen/remote_workspace:/workspace/liuzhen/remote_workspace -it tensorflow/tensorflow:latest-gpu /bin/bash


正确执行完之后,现在我们就处在新建的docker容器里了(端口映射,容器名,镜像和路径映射这些换成你自己的就行,但是一定要留一个端口映射到容器22端口,因为SFTP默认使用22端口)。


2. 配置SSH服务


接着我们在刚刚新建的容器里配置SSH服务,首先安装openssh-server:


$ apt update
$ apt install -y openssh-server


然后建立一个配置文件夹并进行必要的配置:


$ mkdir /var/run/sshd
$ echo 'root:passwd' | chpasswd
# 这里使用你自己想设置的用户名和密码,但是一定要记住!
$ sed -i 's/PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config
$ sed 's@sessions*requireds*pam_loginuid.so@session optional pam_loginuid.so@g' -i /etc/pam.d/sshd
$ echo "export VISIBLE=now" >> /etc/profile


重启SSH激活配置:


$ service ssh restart


在服务器(宿主机)上(不是服务器的docker里)测试刚刚新建docker容器中哪个端口转发到了服务器的22端口:


$ sudo docker port [your_container_name] 22
# 如果前面的配置生效了,你会看到如下输出
# 0.0.0.0:8022


最后测试能否用SSH连接到远程docker:


$ ssh root@[your_host_ip] -p 8022
# 密码是你前面自己设置的


到这里说明服务器的docker端已经完成配置。


3. 在PyCharm里配置部署环境


打开PyCharmTools > Deployment > Configuration, 新建一个SFTP服务器,名字自己取:



输入如下图配置,注意这里的端口是你刚刚设置的映射到容器22端口的宿主机中的端口,我这里使用的是8022,账号密码是你刚刚自己设置的,这里的Root Path设置一个远程docker容器里的路径:



配置完点击Test SFTP connection,如果成功就恭喜你,可以进行下一步了。 


最后在Mappings中配置路径,这里的路径是你本地存放代码的路径,与刚刚配置的Root Path相互映射(意思是Mapping里本机的路径映射到远程的Root Path),方便以后在本地和远程docker中进行代码和其他文件同步。



4. 在PyCharm里配置远程解释器 


点击PyCharm的File > Setting > Project > Project Interpreter右边的设置按钮新建一个项目的远程解释器:




配置完成以后在项目解释器界面就会出现如下图所示,可以看到此时已经完成远程解释器的本地化:



配置完成以后需要等本地和远程的环境同步一下,到这里,恭喜你,可以用最舒服的姿势。。。写代码了。


配置完成以后的日常是这样的:



左边是本地的文件,修改之后可以随时右键deployment->upload到远程主机,或者直接在本地调试运行;最右边是远程主机的文件,假如直接在远程修改了文件刷新一下同样可以右键下载到本地,但是我不建议这样做,因为这样很容易带来冲突(毕竟没有很好的版本控制)。目前最好的实践是在局域网的服务器上,时延低,同步速度快。


常见问题:


1. 最常见的问题就是docker容器停了以后里面的SSH服务也会相应停止,因此当你发现自己某一天连不上的时候,记得去docker里重启一下ssh服务:


$ service ssh restart


感谢 @丁果 对这个问题提出的解决方案:


“可以在run的时候加上--restart=always,同时ssh启动的写到dockerfile里去。”


2. 在容器中执行apt update的时候可能会出现0% working 的问题

感谢 @奥古斯都 提出该问题以及解决方案:


”这里不是源的问题,因为容器环境太过纯净,这里需要安装apt-transport-https这个deb文件,下载的时候也要注意不要下载最新的版本,否则也会出现依赖问题,要下载和当前docker容器内的apt相匹配的版本。“



●编号846,输入编号直达本文

●输入m获取到文章目录

推荐↓↓↓

程序员数学之美

登录查看更多
4

相关内容

专知会员服务
54+阅读 · 2020年7月4日
【2020新书】实战R语言4,323页pdf
专知会员服务
100+阅读 · 2020年7月1日
【实用书】学习用Python编写代码进行数据分析,103页pdf
专知会员服务
193+阅读 · 2020年6月29日
【2020新书】使用高级C# 提升你的编程技能,412页pdf
专知会员服务
57+阅读 · 2020年6月26日
【资源】100+本免费数据科学书
专知会员服务
107+阅读 · 2020年3月17日
深度神经网络实时物联网图像处理,241页pdf
专知会员服务
76+阅读 · 2020年3月15日
TensorFlow Lite指南实战《TensorFlow Lite A primer》,附48页PPT
专知会员服务
69+阅读 · 2020年1月17日
开源书:PyTorch深度学习起步
专知会员服务
50+阅读 · 2019年10月11日
用 Python 开发 Excel 宏脚本的神器
私募工场
26+阅读 · 2019年9月8日
通过Docker安装谷歌足球游戏环境
CreateAMind
11+阅读 · 2019年7月7日
浅谈 Kubernetes 在生产环境中的架构
DevOps时代
11+阅读 · 2019年5月8日
免费!Google Colab现已支持英伟达T4 GPU
新智元
5+阅读 · 2019年4月25日
深度学习 | 免费使用Google Colab的GPU云计算平台
沈浩老师
12+阅读 · 2018年2月4日
10个深度学习软件的安装指南(附代码)
数据派THU
17+阅读 · 2017年11月18日
手把手教你安装深度学习软件环境(附代码)
数据派THU
4+阅读 · 2017年10月4日
Caffe 深度学习框架上手教程
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月12日
Arxiv
17+阅读 · 2018年4月2日
VIP会员
相关VIP内容
专知会员服务
54+阅读 · 2020年7月4日
【2020新书】实战R语言4,323页pdf
专知会员服务
100+阅读 · 2020年7月1日
【实用书】学习用Python编写代码进行数据分析,103页pdf
专知会员服务
193+阅读 · 2020年6月29日
【2020新书】使用高级C# 提升你的编程技能,412页pdf
专知会员服务
57+阅读 · 2020年6月26日
【资源】100+本免费数据科学书
专知会员服务
107+阅读 · 2020年3月17日
深度神经网络实时物联网图像处理,241页pdf
专知会员服务
76+阅读 · 2020年3月15日
TensorFlow Lite指南实战《TensorFlow Lite A primer》,附48页PPT
专知会员服务
69+阅读 · 2020年1月17日
开源书:PyTorch深度学习起步
专知会员服务
50+阅读 · 2019年10月11日
相关资讯
用 Python 开发 Excel 宏脚本的神器
私募工场
26+阅读 · 2019年9月8日
通过Docker安装谷歌足球游戏环境
CreateAMind
11+阅读 · 2019年7月7日
浅谈 Kubernetes 在生产环境中的架构
DevOps时代
11+阅读 · 2019年5月8日
免费!Google Colab现已支持英伟达T4 GPU
新智元
5+阅读 · 2019年4月25日
深度学习 | 免费使用Google Colab的GPU云计算平台
沈浩老师
12+阅读 · 2018年2月4日
10个深度学习软件的安装指南(附代码)
数据派THU
17+阅读 · 2017年11月18日
手把手教你安装深度学习软件环境(附代码)
数据派THU
4+阅读 · 2017年10月4日
Caffe 深度学习框架上手教程
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月12日
Top
微信扫码咨询专知VIP会员