ChatGLM3环境部署

一、ChatGLM3简介

在2023年的10月27日，智谱AI在中国计算机大会（CNCC）上推出了其自主研发的第三代大型语言模型ChatGLM3及其相应的产品线，自6月25日ChatGLM2的发布后，ChatGLM3的发布是对智谱AI对话大模型的重要升级。这家创业公司在六个月内将大语言模型（从GLM2）推进到了第三代。

最新版本的ChatGLM-turbo在最新AgentBench上已略超出GPT-3.5。在算力方面，ChatGLM3已支持昇腾、海光DCU等10余种国产硬件生态。

核心的升级之一是赋予ChatGLM3以代码交互能力，使得智谱清言成为了国内首款具备（面向开发人员的）Code Interpreter功能的大模型产品。
基于ChatGLM3的智谱清言地址：https://chatglm.cn/main/detail。

智谱清言页面截图

二、ChatGLM3部署

ChatGLM3除了显卡方式还支持用者以CPU（需要Xinfrance框架支持）部署，这样对没GPU资源的情况下部署大模型成为可能。

2.1 本地部署

因英伟达GPU出口限制和需求量过大，AI算力普遍吃紧，别说A100加速计算卡，就是A10也一票难求，所以使用云AI算力很贵。因为本地部署省钱，我一开始考虑本地部署，但是大模型不是口头的大，其硬件要求也大：
[内存32G or (显卡显存13G+内存13G ）] and 22G硬盘空间。
显存普遍是软肋，我看了一下我电脑显存是可怜128M，不是G，看来编程完全可以的电脑在大模型面前就是老态龙钟的老汉，让他从事最时髦的“时装秀”是完全不可能的事，身材不中啊！！

老IT的显存

查了一下半专业人士——俺家闺女的笔记本，她的显卡是今年6月NVIDIA刚刚推出的RTX 4060，具备16GB GDDR6 显存，根据一位朋友说：他的笔记本用较老的3070显卡跑的GLM3是输出5个字左右每秒，如果用RTX 4060完全满足使用要求。

彪悍的RTX 4060显卡

因为我的硬件严重没达标，被迫转向了第二种方案使用云厂商的环境进行搭建。

2.2 云环境部署

基于云环境两种方式进行部署，详见：

1. 阿里云环境
2. 魔塔社区(待续）