美文网首页
搭建本机代码辅助AI工具:Tabby

搭建本机代码辅助AI工具:Tabby

作者: 国服最坑开发 | 来源:发表于2024-01-02 08:30 被阅读0次

0x00 概览

直接使用在线代码辅助,有涉嫌上传代码的风险。我们可以采用离线部署的方案,这样就会省去这方面的困扰。

1.主体流程

  • 基于docker部署tabby 服务,会暴露出一个 http rest接口
  • 在IDE上配置tabby插件,自动触发代码提示
    https://fastapi.tiangolo.com/

2.支持语言

0x01 服务端搭建过程

官网入口: https://tabby.tabbyml.com/

如果主机没有 GPU, 直接执行下面:

docker run -it -p 18081:8080 -v $HOME/.tabby:/data tabbyml/tabby serve --model TabbyML/StarCoder-1B

如果有显卡,可以这样:

docker run -itd --gpus all -p 8080:8080 -v $HOME/.tabby:/data tabbyml/tabby serve --model TabbyML/StarCoder-1B --device cuda

0x02 IDE设置

本文以 PyCharm为例,直接打开plugin, 查找 tabby 安装即可
在插件配置页,写入本机地址,如下图示。

tabby plugin

0x03 体验

TODO

相关文章

网友评论

      本文标题:搭建本机代码辅助AI工具:Tabby

      本文链接:https://www.haomeiwen.com/subject/pmjpndtx.html