用PyCharm远程调试来编写PaddlePaddle代码

作者: 追逐丶 | 来源:发表于2017-07-22 12:49 被阅读443次

0、前言和相关知识

PaddlePaddle运行在Docker中，在这其中我有两个疑问：
1、怎么与Docker交互？
paddlepaddle的book项目就是教程，里面有paddle的项目环境，可以用jupyter botebook来写代码和学习，但是总是觉得有点变扭，毕竟浏览器没有IDE那种质感，其实官方是有如下说法

以交互容器方式运行开发镜像：
docker run -it --rm paddlepaddle/paddle:<version>-dev /bin/bash

或者，可以以后台进程方式运行容器：
docker run -d -p 2202:22 -p 8888:8888 paddledev/paddle:<version>-dev

然后用密码 root SSH进入容器：
ssh -p 2202 root@localhost

SSH方式的一个优点是我们可以从多个终端进入容器。比如，一个终端运行vi，另一个终端运行Python。另一个好处是我们可以把PaddlePaddle容器运行在远程服务器上，并在笔记本上通过SSH与其连接。

PaddlePaddle发布的Docker镜像使用说明上面内容来自这个页面

第一个命令就是直接用命令行进入docker容器，其中-t选项就是tty的意思，最后的一个是执行的命令（/bin/bash）
第二、三个命令是一起用的额，先开启docker 的后台，再ssh远程过去

2、ssh怎么连上去？
官方教程不是写了做法了么？为什么还那样问！？因为实际操作的时候是一直拒绝连接的，从自己试验多次之后，发现有的镜像压根没有安装openssh-server，有的安装了，但是却没有开启，没开服务当然连不上啊。

而远程调试之前，肯定第一步是连上Docker，不然后面都不能继续。

第一次用docker，不太了解怎么操作docker，搞了几天。了解后，我们得知道几个docker命令：

docker stop 容器ID 这命令是停止容器
docker run [选项] 镜像名:tag [命令] [参数]
选项： -i 没有参数给容器开启一个不间断的输入，没有这个的话，执行完命令容器就会退出
选项：-t 参数在命令处给容器接入一个tty交互字符界面，参数一般是/bin/bash（个人理解，准确理解亲查阅相关资料
选项：-d 没有参数开启让容器在后台运行，并在完全开启容器后，打印容器ID
选项：-p 本机端口:docker端口作用是将docker端口映射到本地
docker exec [选项] 容器ID 命令 [参数]
docker images 列出所有镜像
docker ps 列出正在运行的镜像
docker ps -a 列出历史记录和情况，其中只有STATUS字段有UP×××字样才是运行中
docker pull 镜像名:tag 如果不加tag名称，默认为latest这个tag
docker commit 镜像名称保存镜像状态，下次开启容器会重置，网上上最好用volume（卷）容器来存在内容（volume容器及相关雷凌不在本教程中），镜像名称格式，推荐是：用户名/项目名或者组织名/项目名

本教程暂时只管连上docker，内容保存的话，看看以后的有没空改一改。

下面会开始过程，在这之前，先说说简略过程：
开启Docker镜像->检测openssh-server是否存在->是>>跳过docker commit那一步||否>>安装openssh-server->docker commit保存镜像->docker run 开启镜像->docker exec 开启openssh-server->Pycharm远程调试

1、下载并启动Paddle的Docker镜像

1.1下载镜像（其实命令正常意思是运行这个镜像）：

正常的方式是docker pull命令拉取镜像的，但是出于简便，采用如下做法：

docker run -d -p 8888:8888 docker.paddlepaddle.org/book:0.10.0

详细说法请参看：运行这本书

1.2启动book镜像

先列出镜像：

docker images

我们选最后一个镜像：

docker run -d -p 8888:8888 -p 2202:22 docker.paddlepaddle.org/book:0.10.0 

docker ps

命令解释:新建docker.paddlepaddle.org/book:0.10.0镜像的容器，把docker的8888、22端口分别映射到8888、2202，并且后台运行

因为这是book项目的镜像里面开启了，jupyter notebook，所以我们可以这么链接上
http://localhost:8888

2、检测openssh-server是否存在

我们直接向docker容器执行命令

docker exec d6f1c2309b7f whereis sshd 

docker exec d6f1c2309b7f apt-get install openssh-server -y

这里说明一下，docker exec执行的命令其实就是普通Linux命令而已，首先是wheresi sshd，看输出没有路径信息，说明没有这个程序，接着使用apt-get命令安装openssh-server，这个docker exec命令是不能交互的，所以的使用-y代替本来要输入Y或者回车才能继续安装的确认。

继续添加一些配置文件：
打开如下链接：http://localhost:8888

mkdir /var/run/sshd
echo 'root:root' | chpasswd
sed -ri 's/^PermitRootLogin\s+.*/PermitRootLogin yes/' /etc/ssh/sshd_config
sed -ri 's/UsePAM yes/#UsePAM yes/g' /etc/ssh/sshd_config

PS:因为启动镜像的方式没有加选项-t所以只能用jupyter notebook来访问了
如果想用交互的方式来可以用如下来开启镜像：

docker run -d -i -t -p 8888:8888 -p 2202:22 docker.paddlepaddle.org/book:0.10.0 /bin/bash

docker attach 容器id  ----如果一直卡着，按ctrl+C就进了

进去执行上面的更改配置的命令

ctrl+p -> ctrl+q ----退出容器

3、docker commit保存镜像

其实docker是不推荐这样做的，因为这样子重现这个环境会变得很困难
具体可查看使用 Docker 容器应该避免的 10 个事情
但是考虑到，自己构建需要花费大量时间(墙很高)，并且这个book项目github上并没有提供Dockerfile文件

docker commit d6f1c2309b7f paddlepaddle/book-ssh:0.10.0

这样子在paddlepaddle/book-ssh:0.10.0这个镜像中添加了openssh-server软件，但是却不能自启动，docker中的linux系统，不能正常设置启动，docker中更讲究的是容器的启动，也就是容器启动时，应用随容器启动而启动，这就需要Dockerfile来构建整个脚本并且添加自启动。

所以我们办不到通过Dockerfile来重构镜像（新生成才对吧），来达到自启动，所以保存之后只能笨一点的方法，手动开启服务，再ssh远程了。

4、docker exec 开启openssh-server

docker exec d6f1c2309b7f /etc/init.d/ssh start

远程试试：

5、Pycharm远程调试

如果你觉得不好，也可以参考这个：Pycharm远程开发配置与使用技巧
创建项目：

添加remote：

接着点ok

会提示如下：

[2017/7/22 2:12] Upload to ssh://root@127.0.0.1:2202/usr/bin/python
[2017/7/22 2:12] No files or folders found to process

并且项目是空的：

一直写java，也是第一次看到空项目，我下意识以为出错了，但是新建一个py文件，运行正确，py文件内容如下：

import paddle.v2 as paddle
import paddle.v2.dataset.uci_housing as uci_housing


def main():
    # init
    paddle.init(use_gpu=False, trainer_count=1)

    # network config
    x = paddle.layer.data(name='x', type=paddle.data_type.dense_vector(13))
    y_predict = paddle.layer.fc(input=x, size=1, act=paddle.activation.Linear())
    y = paddle.layer.data(name='y', type=paddle.data_type.dense_vector(1))
    cost = paddle.layer.mse_cost(input=y_predict, label=y)

    # create parameters
    parameters = paddle.parameters.create(cost)

    # create optimizer
    optimizer = paddle.optimizer.Momentum(momentum=0)

    trainer = paddle.trainer.SGD(
        cost=cost, parameters=parameters, update_equation=optimizer)

    feeding = {'x': 0, 'y': 1}

    # event_handler to print training and testing info
    def event_handler(event):
        if isinstance(event, paddle.event.EndIteration):
            if event.batch_id % 100 == 0:
                print "Pass %d, Batch %d, Cost %f" % (
                    event.pass_id, event.batch_id, event.cost)

        if isinstance(event, paddle.event.EndPass):
            result = trainer.test(
                reader=paddle.batch(uci_housing.test(), batch_size=2),
                feeding=feeding)
            print "Test %d, Cost %f" % (event.pass_id, result.cost)

    # training
    trainer.train(
        reader=paddle.batch(
            paddle.reader.shuffle(uci_housing.train(), buf_size=500),
            batch_size=2),
        feeding=feeding,
        event_handler=event_handler,
        num_passes=30)


if __name__ == '__main__':
    main()

最后是code 0说明正常退出。

这个看不出东西，我们在PyCharm中创建jupyter notebook，就能看到效果了

PyCharm会自动同步本地与ssh远程的服务器文件，还有一个重点就是当你关闭容器，东西会被清空，其实看看，拥有不同的容器ID也可以知道，就是压根就是不同实例，内容是初始值也正常啊。
PS:要显示remotehost:

最后，写得很啰嗦，但是也只是想说清楚一点，不要看得稀里糊涂，我可以只写关键步骤，但是这体现不了这是过程，只体现了结果，所以我选择啰嗦。

6、windows辅助启动脚本

第7行变为你要的名字
第8行改为镜像名字（这个要你机器上的，你用我的这个肯定找不到镜像滴啊

效果：

@echo off  
title 远程Paddle_Book  
setlocal enabledelayedexpansion  
::color 0D  
::mode con cols=50 lines=30 

set "book=book-ssh"
set "docker-image=paddlepaddle/book3:latest"
echo =====================================  
echo               docker tools  
echo  显示镜像、容器、所有容器、运行book
echo                 打开book
echo =====================================  
echo.
rem echo.是显示一行空白  
echo         1、run book
echo         2、stop book
echo         3、run http://localhost:8888
echo         4、list images
echo         5、list running containers
echo         6、list hitstory containers(except %book%
echo         c、退  出



rem 开始循环
:loop 
echo.
set /p var=请选择要进行的操作，然后按回车: 

if "%var%" == "" set /a var=1  
if not "%var%" == """" set var=%var:~0,1%  
for %%t in (1,2,3,4,5,6,c) do if %%t==%var% set /a temp=-1
  
rem 这个for循环检测输入是否是在这个set中
rem 这个temp只是一个中间变量，检测是否存在用，在的话应该是-1,否则不是的话说明不在这些数之中
if not %temp%==-1 set /a var=-1
rem 如果不在set默认值为-1，之后进行提示  
  
if %var% == c goto mExit
rem 如果选择的是c的话直接退出  

echo ------------------------------------------------  
  
 
    if "%file_path%"=="""" goto mContinue  
    REM 为"双引号就停止"
    if %var% == -1 goto mError 
    if %var% == 1 (
                    docker run --name %book% -d -p 2202:22 -p 8888:8888 %docker-image%
                    echo.
                    docker ps
                    echo.
                    echo 正在启动ssh服务
                    docker exec %book% /etc/init.d/ssh start
                  )
    if %var% == 2 (
                    echo 稍等......正在停止%book%
                    docker stop %book%
                    docker rm %book%
                  )
    if %var% == 3 start http://localhost:8888
    if %var% == 4 docker images
    if %var% == 5 docker ps
    if %var% == 6 docker ps -a

    if %var% == c goto mExit
    
  
goto mContinue  
  
:mError 
echo 输入操作数有误
goto mContinue
  
:mContinue 
goto loop  
  
pause  

:mExit
echo 稍等......正在停止%book%
docker stop %book%
docker rm %book%

网友评论

本文标题：用PyCharm远程调试来编写PaddlePaddle代码

本文链接：https://www.haomeiwen.com/subject/ricukxtx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！