美文网首页
怎么在自己的笔记本电脑或台式机上离线运行Google的Gemma

怎么在自己的笔记本电脑或台式机上离线运行Google的Gemma

作者: 万州客 | 来源:发表于2024-02-24 09:29 被阅读0次

    时代浪潮,滚滚向前,不进则退。这不,Llama2, Phi-2,Mistral,MiniCMP,Gemma都得试试呀~

    一,下载LM Studio 0.2.16以上版本

    官网:
    lmstudio.ai/

    image.png

    Mac,windows,linux都支持

    二,在LM里搜索相关模型并下载

    image.png

    界面里,左上角区域带放大镜那个图标用来搜索

    三,在LM里加载测试使用各个模型

    image.png

    在LM的左右区域里有个聊天图标,在上面紫色区域那可以选择我们下载好的各个模型。
    一般都2G~10G文件大小。
    然后,直接在USER里输入prompt来测试啦。
    我笔记本上运行Gemma 2G,完全无压力。7B应该也问题不大。

    四,注意事项

    • 可能需要科学的上网,才能下载模型文件
    • 尽量下载点赞多,下载量大的调优模型,不然,也可能会被引入安全性问题吧。

    相关文章

      网友评论

          本文标题:怎么在自己的笔记本电脑或台式机上离线运行Google的Gemma

          本文链接:https://www.haomeiwen.com/subject/sftoadtx.html