以 windows11 为例

安装 anaconda

下载安装

去 官网 下载安装包 exe，一路点击安装。之后配置环境变量。

配置环境变量

右击此电脑 => 属性 => 高级系统设置 => 系统变量中的 Path 变量添加以下三行：

D:\anaconda\anaconda3 // 安装路径
D:\anaconda\anaconda3\Scripts
D:\anaconda\anaconda3\Library\bin

环境变量如果不生效，可以重启电脑，或者搜索引擎里搜一下解决方案。之后，在命令行中输入：conda --version，正确显示出版本，则 conda 安装成功。

conda 23.3.1

常用的 conda 命令：https://zhuanlan.zhihu.com/p/67745160

安装 ChatGLM

下载 ChatGLM 源码

去官网克隆代码（如果没装 git，先安装 git）

cd D:\project\
git clone https://github.com/THUDM/ChatGLM-6B

根据硬件要求，修改 ChatGLM-6B 下的 web_demo.py 文件。

量化等级	最低 GPU 显存（推理）	最低 GPU 显存（高效参数微调）
FP16（无量化）	13 GB	14 GB
INT8	8 GB	9 GB
INT4	6 GB	7 GB

// 如果使用无量化版本，则保持不变
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()

// 如果使用INT8版本，改动如下
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-int8", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int8", trust_remote_code=True).half().cuda()

// 如果使用INT4版本，改动如下
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True).half().cuda()

创建虚拟环境

两种方式：
第一种使用界面UI（Anaconda Navigator），点击创建环境，选择 python3.10 即可。创建环境完成之后，点击如下三角按钮，进行环境激活，然后点击打开该环境下的 shell 界面。

image.png

第二种：在 git_bash 下执行如下命令

conda create -n chatglm python=3.10
source D:\anaconda\anaconda3\etc\profile.d\conda.sh // 其中 D:\anaconda\anaconda3\ 是安装目录，执行该命令是解决这个问题 https://bobbyhadz.com/blog/commandnotfounderror-your-shell-has-not-been-properly-configured-to-use-conda-activate
conda activate chatglm

在虚拟环境下，进入 ChatGLM-6B 目录，安装依赖。

(chatglm) D:\project\ChatGLM-6B>pip install -r requirements.txt

注意：此处安装了 Downloading torch-2.0.1-cp310-cp310-win_amd64.whl。

尝试启动 webUI：首次执行，会自动从huggingFace上下载模型，会下载到C:\Users\xxx\.cache\huggingface\hub\models--THUDM--chatglm-6b-int8，C 盘空间不够的可以自行下载模型，按照官网修改路径。

(chatglm) D:\project\ChatGLM-6B>python web_demo.py

下载日志如下：

Downloading (…)okenizer_config.json: 100%|████████████████████████████████████████████████████| 446/446 [00:00<?, ?B/s]
D:\anaconda\anaconda3\envs\chatglm\lib\site-packages\huggingface_hub\file_download.py:133
Downloading (…)enization_chatglm.py
Downloading ice_text.model
Downloading (…)lve/main/config.json
Downloading (…)iguration_chatglm.py
Downloading (…)/modeling_chatglm.py
Downloading (…)main/quantization.py
Downloading pytorch_model.bin:6.71G

启动过程中如果报错：

AssertionError: Torch not compiled with CUDA enabled

则需要去 pytorch 官网，选择与安装的 torch 版本兼容的相关依赖，如下，之后复制红框部分的命令，进行执行即可。

image.png

(chatglm) D:\project\ChatGLM-6B>conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia

之后，再次尝试启动，如果报错：

ModuleNotFoundError: No module named 'chardet'

则执行如下命令安装（ModuleNotFoundError 该类错误均可通过该方式进行解决），如果 pip install xxx 报错，可通过 conda install xxx 代替试试。

pip install chardet

之后，再次尝试启动，如果报错：

ModuleNotFoundError: No module named 'cchardet'

此时执行 pip install cchardet 报错，可通过 conda install cchardet 解决。
之后，再次尝试启动，看到如下信息，则表示成功。

Running on local URL:  http://127.0.0.1:7860

浏览器访问即可进行交流。

image.png