美文网首页
免费使用谷歌colab的GPU资源

免费使用谷歌colab的GPU资源

作者: 612twilight | 来源:发表于2021-06-23 16:26 被阅读0次

    1贫穷的炼丹师连炼丹炉都没有,如何白嫖网上的GPU服务器资源呢
    网上确实有不少处于商业利益提供一些免费GPU资源的项目,但是这些项目存在一些限制,比如百度AI studio,就只能使用他们的paddle paddle框架,否则会强制中断进程。
    这里我发现了谷歌的良心资源,colab,合理组织起使用流程,完全不亚于一台服务器。

    XX上网

    暂且不表,请大家各显神通

    注册谷歌账户,登录谷歌硬盘

    https://drive.google.com/drive

    建立工作空间和数据空间

    比如建立datasets文件夹,上传数据,建立workspace文件夹作为代码保存空间


    image.png

    进入colab,创建对应的工作环境

    进入colab


    2.jpg

    创建GPU环境

    3.jpg 4.jpg 5.jpg

    挂载谷歌硬盘到colab

    输入如下代码,点击弹出的链接,获取授权码,将授权码复制到方框中,按回车键,挂载硬盘

    from google.colab import drive
    drive.mount('/content/drive')
    
    image.png

    进入工作路径

    import os
    os.chdir("/content/drive/MyDrive/xxxxx/")  # xxxx是你的谷歌硬盘文件夹的名字
    

    准备工作环境

    类似于如下语法,在命令前加!,可以被认为是执行中端代码

    ! pip install concurrent_log_handler
    ! pip install seqeval==0.0.3
    ! pip install transformers==3.1.0
    
    image.png

    拉取工作代码

    git clone https://github.com/kelseyhightower/nocode.git
    git pull origin master
    

    使用GPU训练模型

    例如使用命令行的方式

    ! python main.py --task ccks_addr --arch lstm_crf --prepared_data ccks_addr_elements_prepared_data --save-dir ccks_addr_checkpoints --mode train --batch-size 8 --max-epoch 200
    

    更新代码

    更新代码从github中转,然后从colab用git拉取代码,操作起来很方便

    断连的解决办法(暂定)

    function ClickConnect(){
    console.log("Working"); 
    document.querySelector("colab-toolbar-button#connect").click() 
    }
    setInterval(ClickConnect,60000)
    

    相关文章

      网友评论

          本文标题:免费使用谷歌colab的GPU资源

          本文链接:https://www.haomeiwen.com/subject/fbybyltx.html