treehouse group（hk）limited用户1600
腾讯云部署清华大学 ChatGLM-6B 模型实战
输入“/”快速插入内容
腾讯云部署清华大学 ChatGLM-6B 模型实战
腾讯云部署清华大学 ChatGLM-6B 模型实战
简介（来自官方）
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。
准备工作
硬件要求（腾讯云V100显卡，一个月大几千，肉疼）
安装git什么的，python我就不说了，太简单
代码clone（怎么安装Git工具不赘述）
代码块
git clone https://github.com/THUDM/ChatGLM-6B.git
环境安装
使用 pip 安装依赖，其中 transformers 库版本为 4.27.1（就用这个就行）。
代码块
注意：Python要3.8以上！！！！否则能坑死你！
模型以及配置文件准备
1.
2.
把对应的模型以及配置文件记得下载全，结果是这样的：
踩坑：记得校验一下模型的SHA256是否跟官方一致，否则模型肯定加载失败！
3.
准备启动：
三种方式均可：
代码块
注意：web方式记得把云服务器的端口开放了，否则用不了！
效果展示