49

PyCharm+Docker:打造最舒适的深度学习炼丹炉

 5 years ago
source link: https://www.leiphone.com/news/201902/fcOmAfgU4CBwvMPM.html?amp%3Butm_medium=referral
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

雷锋网 AI 科技评论按,本文作者是四川大学数据智能实验室在读硕士刘震,这是他在知乎上发表的一篇文章,雷锋网 (公众号:雷锋网) 转载。

EzyyQ3i.jpg!web

一般炼丹都在服务器上,很少有人在本机跑代码的。之前自己捣鼓怎么用本地的编辑器配上远程服务器的环境来营造一个最舒乎的姿势。最开始用 VS Code 的 SFTP 插件,但是用着还是不顺手,因为不能用远程的环境,最后还是选择了强大的 PyCharm。下面的这个教程最开始只是自己用,后来写了一篇博客分享给实验室的人,没想到大家都开始用上了。这次专门写一篇更详细的放到知乎供有缘人使用。

开始之前你可以对比以下条件来确定自己是否真的需要这样做:

  • 使用 PyCharm 作为主力 IDE 写 Python而不是其他(我非常推荐大家用)

  • 深度学习炼丹师(当然你可以不是,但如果是,你会更舒服)

  • 服务器在远程或者局域网(其实局域网的体验最佳)

  • 使用 Docker(能够熟练使用最佳)

当你配置完成之后,你将能 在本地 PyCharm IDE 上使用远程服务器的 Python 解释器和环境进行调试和运行,同时能够很方便的将代码在本地和服务器上进行同步。

OK,废话不多说,正式开始我们的 PyCharm+Docker 的远程环境配置之旅。

首先你需要满足以下两个必备条件:

  • 使用 PyCharm 专业版 ,记住一定是专业版(社区版不提供远程服务)

  • 在服务器上 安装 docker 和 nvidia-docker

1.新建 docker container

首先按照如下命令新建一个 docker 容器(关于 docker 的使用这里不废话,建议不熟悉的童鞋先去学一下如何使用 docker,教程很多):

sudo nvidia-docker run -it -p [host_port]:[container_port](do not use 8888) --name:[container_name] [image_name] -v [container_path]:[host_path] /bin/bash

举个栗子:

sudo nvidia-docker run -p 5592:5592 -p 5593:5593 -p 8022:22 --name="liuzhen_tf" -v ~/workspace/liuzhen/remote_workspace:/workspace/liuzhen/remote_workspace -it tensorflow/tensorflow:latest-gpu /bin/bash

正确执行完之后,现在我们就处在新建的 docker 容器里了(端口映射,容器名,镜像和路径映射这些换成你自己的就行,但是一定要留一个端口映射到宿主机 22 端口,因为 SFTP 默认使用 22 端口)。

2.配置 SSH 服务

接着我们在刚刚新建的容器里配置 SSH 服务,首先安装 openssh-server:

$ apt update
$ apt install -y openssh-server

然后建立一个配置文件夹并进行必要的配置:

$ mkdir /var/run/sshd
$ echo 'root:passwd' | chpasswd# 这里使用你自己想设置的用户名和密码,但是一定要记住!$ sed -i 's/PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config
$ sed 's@session\s*required\s*pam_loginuid.so@session optional pam_loginuid.so@g' -i /etc/pam.d/sshd
$ echo "export VISIBLE=now" >> /etc/profile

重启 SSH 激活配置:

$ service ssh restart

在服务器(宿主机)上(不是服务器的 docker 里)测试刚刚新建 docker 容器中哪个端口转发到了服务器的 22 端口:

$ sudo docker port [your_container_name] 22

# 如果前面的配置生效了,你会看到如下输出

# 0.0.0.0:8022

最后测试能否用 SSH 连接到远程 docker:

$ ssh root@[your_host_ip] -p 8022
# 密码是你前面自己设置的

到这里说明服务器的 docker 端已经完成配置。

3.在 PyCharm 里配置部署环境

打开 PyCharmTools > Deployment > Configuration, 新建一个 SFTP 服务器,名字自己取:

zyAVFvY.jpg!web

输入如下图配置,注意这里的端口是你刚刚设置的映射到服务器主机 22 端口的 docker 容器中的端口,我这里使用的是 8022,账号密码是你刚刚自己设置的,这里的 Root Path 设置一个远程 docker 容器里的路径:

Anquyai.jpg!web

配置完点击 Test SFTP connection, 如果成功就恭喜你,可以进行下一步了。

最后在 Mappings 中配置路径,这里的路径是你本地存放代码的路径,与刚刚配置的 Root Path 相互映射(意思是 Mapping 里本机的路径映射到远程的 Root Path),方便以后在本地和远程 docker 中进行代码和其他文件同步。

63mAZvM.jpg!web

4.在 PyCharm 里配置远程解释器

点击 PyCharm 的 File > Setting > Project > Project Interpreter 右边的设置按钮新建一个项目的远程解释器:

JNZZ73m.jpg!web

aUbMrm2.jpg!web

配置完成以后在项目解释器界面就会出现如下图所示,可以看到此时已经完成远程解释器的本地化:

muIJriz.jpg!web

配置完成以后需要等本地和远程的环境同步一下,到这里,恭喜你,可以用最舒服的姿势。。。写代码了。

配置完成以后的日常是这样的:

q2EBviN.jpg!web

左边是本地的文件,修改之后可以随时右键 deployment->upload 到远程主机,或者直接在本地调试运行;最右边是远程主机的文件,假如直接在远程修改了文件刷新一下同样可以右键下载到本地,但是我不建议这样做,因为这样很容易带来冲突(毕竟没有很好的版本控制)。 目前最好的实践是在局域网的服务器上,时延低,同步速度快。

常见问题:

最常见的问题就是 docker 容器停了以后里面的 SSH 服务也会相应停止,因此当你发现自己某一天连不上的时候,记得去 docker 里重启一下 ssh 服务:

$ service ssh restart

感谢 @ 丁果 对这个问题提出的解决方案:

「可以在 run 的时候加上--restart=always,同时 ssh 启动的写到 dockerfile 里去,其实 docker 里面一般不会再装 ssh。」

原文链接: https://zhuanlan.zhihu.com/p/52827335

雷锋网版权文章,未经授权禁止转载。详情见 转载须知


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK