美文网首页
记jupyter-notebook linux下 跨机器 环境迁

记jupyter-notebook linux下 跨机器 环境迁

作者: AmiWang | 来源:发表于2020-11-25 18:30 被阅读0次

    背景:

        公司老集群升级( CHD5升级到CDH6),集群资源重新分配。原来本人负责的提数任务(jupyter是提数使用的工具),需要另在一台机器安装jupyter并搭建jupyter运行环境,以下为整个流程的详细记录,如有更方便、易行的办法,欢迎讨论。

        1.jupyter一直挂载在老机器后台,查看jupyter挂载进程:ps -ef | grep jupyter

    进程信息

        2.conda env list  查看列表中的所有运行环境,并且找到jupyter的运行环境。

    3.在对应环境目录下找到依赖包信息,一般都在环境目录下:requirement.txt

    4.在要迁移的机器上创建对应环境并指定一致的python版本(需要在老机器上切换到jupyter的对应运行环境并查看对应python版本): conda create -n 虚拟环境名称 python=2.7 

    5.在新创建的环境下创建依赖包信息文件:vi xxxx.txt 。将原环境下的依赖包信息copy到该文件下 :wq 保存并退出。

        使用pip install -r xxxx.txt -i https://pypi.tuna.tsinghua.edu.cn/simple 

        -i-指定镜像地址采用的是清华镜像    

        若有安装依赖报错信息(极大原因是版本过旧),百度找到对应可用版本,修改xxxx.txt依赖包信息,直至安装成功。这种办法不能保证依赖包版本完全一致,如何跨机器 进行完全一致的环境迁移也是困扰我的问题,有了解的朋友,请指教

    6.Linux服务器上配置Jupyter并在后台运行

    https://blog.csdn.net/qq_41699621/article/details/103064684

    上图是之前老机器上 采用的json文件格式生成的jupyter配置文件,这部分是为了本人回溯问题。

    大家参考上面贴的博主连接,采用其二、三、四步骤

    采用.py文件的格式生成的jupyter配置文件就可以,亲测可行。

    执行到第七步:

        按照上面的链接的挂载操作,会将home目录暴露出来。所以在服务器后台挂载jupyter 进程时,可以将指定目录作为jupyter web端启动后的默认目录(避免了jupyter启动后的web端的操作者 对home目录 有风险操作),并可以指定log存放的地址

    附加:查到要kill掉的进程PID,然后kill 进程的pid number:kill xxx

    7.浏览器输入迁移的机器 host:端口号  测试jupyter是否搭建成功!

    相关文章

      网友评论

          本文标题:记jupyter-notebook linux下 跨机器 环境迁

          本文链接:https://www.haomeiwen.com/subject/otvniktx.html