备注：本文在window10系统安装部署。
1.安装Anaconda
官网https://link.zhihu.com/?target=https%3A//www.anaconda.com/
安装完之后：
创建环境敲入命令：conda create -n Llama python=3.10.9
出现提示输入:y 回车
激活环境输入命令：conda activate Llama
激活环境后输入命令：pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
到这里环境配置完成。
2.安装webUI这里我们用text-generation-web-UI（可视化大模型web界面）
这里我们使用git命令下载，请先安装git，也可以从清华镜像站下载git-windows 版本安装。
输入命令：git clone https://github.com/oobabooga/text-generation-webui
克隆完成后我们进入该目录
输入命令：cd text-generation-webui-main
执行命令：pip install -r requirements.txt
启动命令：python server.py
运行成功到本地浏览器输入http://127.0.0.1:7860
下载Llama2-7B文件：
链接地址：
https://link.zhihu.com/?target=https%3A//pan.baidu.com/s/1777txQrnBsT0SydCLWtRGg%3Fpwd%3D8794
提取码：8794
点进Llama2文件夹下载chinese-alpaca-2-7b-hf 文件夹
下载完成后放入text-generation-webui-main\models\
放好模型文件夹后到浏览器中加载，点击load按钮
image.png
开始聊天：
image.png
错误：
RuntimeError: Failed to import transformers.models.llama.modeling_llama because of the following error (look up to see its traceback):
DLL load failed while importing flash_attn_2_cuda:
解决：
pip uninstall torch torchvision torchaudio
pip install torch torchvision torchaudio -f https://download.pytorch.org/whl/cu121/torch_stable.html
网友评论