美文网首页
怎么在自己的笔记本电脑或台式机上离线运行Google的Gemma

怎么在自己的笔记本电脑或台式机上离线运行Google的Gemma

作者: 万州客 | 来源:发表于2024-02-24 09:29 被阅读0次

时代浪潮,滚滚向前,不进则退。这不,Llama2, Phi-2,Mistral,MiniCMP,Gemma都得试试呀~

一,下载LM Studio 0.2.16以上版本

官网:
lmstudio.ai/

image.png

Mac,windows,linux都支持

二,在LM里搜索相关模型并下载

image.png

界面里,左上角区域带放大镜那个图标用来搜索

三,在LM里加载测试使用各个模型

image.png

在LM的左右区域里有个聊天图标,在上面紫色区域那可以选择我们下载好的各个模型。
一般都2G~10G文件大小。
然后,直接在USER里输入prompt来测试啦。
我笔记本上运行Gemma 2G,完全无压力。7B应该也问题不大。

四,注意事项

  • 可能需要科学的上网,才能下载模型文件
  • 尽量下载点赞多,下载量大的调优模型,不然,也可能会被引入安全性问题吧。

相关文章

网友评论

      本文标题:怎么在自己的笔记本电脑或台式机上离线运行Google的Gemma

      本文链接:https://www.haomeiwen.com/subject/sftoadtx.html