概述

Ollama：一个在本地部署、运行大型语言模型的工具

下载

打开下面的网址，复制地址

https://ollama.com/download/linux

curl -fsSL https://ollama.com/install.sh | sh

查看并下载模型

https://ollama.com/library

https://ollama.com/library/llama2
ollama run llama2

安装并启动autogenstudio

https://microsoft.github.io/autogen/blog/2023/12/01/AutoGenStudio/

pip install autogenstudio
export OPENAI_API_KEY=12jdfsadfehhc23kkzd

autogenstudio ui --port 8081 --host 0.0.0.0

打开网址：http://192.168.1.10:8081/

autogenstudio

安装litellm

pip install litellm

litellm --model ollama/llama2

创建model

model