背景:
公司老集群升级( CHD5升级到CDH6),集群资源重新分配。原来本人负责的提数任务(jupyter是提数使用的工具),需要另在一台机器安装jupyter并搭建jupyter运行环境,以下为整个流程的详细记录,如有更方便、易行的办法,欢迎讨论。
1.jupyter一直挂载在老机器后台,查看jupyter挂载进程:ps -ef | grep jupyter
进程信息2.conda env list 查看列表中的所有运行环境,并且找到jupyter的运行环境。
3.在对应环境目录下找到依赖包信息,一般都在环境目录下:requirement.txt
4.在要迁移的机器上创建对应环境并指定一致的python版本(需要在老机器上切换到jupyter的对应运行环境并查看对应python版本): conda create -n 虚拟环境名称 python=2.7
5.在新创建的环境下创建依赖包信息文件:vi xxxx.txt 。将原环境下的依赖包信息copy到该文件下 :wq 保存并退出。
使用pip install -r xxxx.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
-i-指定镜像地址采用的是清华镜像
若有安装依赖报错信息(极大原因是版本过旧),百度找到对应可用版本,修改xxxx.txt依赖包信息,直至安装成功。这种办法不能保证依赖包版本完全一致,如何跨机器 进行完全一致的环境迁移也是困扰我的问题,有了解的朋友,请指教。
6.Linux服务器上配置Jupyter并在后台运行
https://blog.csdn.net/qq_41699621/article/details/103064684
上图是之前老机器上 采用的json文件格式生成的jupyter配置文件,这部分是为了本人回溯问题。
大家参考上面贴的博主连接,采用其二、三、四步骤
采用.py文件的格式生成的jupyter配置文件就可以,亲测可行。
执行到第七步:
按照上面的链接的挂载操作,会将home目录暴露出来。所以在服务器后台挂载jupyter 进程时,可以将指定目录作为jupyter web端启动后的默认目录(避免了jupyter启动后的web端的操作者 对home目录 有风险操作),并可以指定log存放的地址
附加:查到要kill掉的进程PID,然后kill 进程的pid number:kill xxx
7.浏览器输入迁移的机器 host:端口号 测试jupyter是否搭建成功!
网友评论