ChatGlm-6B多张显卡的web

from transformers import AutoModel, AutoTokenizer
import gradio as gr
import mdtex2html
from utils import load_model_on_gpus ＃要加的包
import os ＃要加的包os.environ["CUDA_VISIBLE_DEVICES"]='0,1' #把显卡加到全局变量中
tokenizer = AutoTokenizer.from_pretrained("chatglm-6b", trust_remote_code=True)
model = load_model_on_gpus("chatglm-6b",num_gpus=2)＃使用两块显卡
# model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
model = model.eval()

在运行上面的代码需要保证你的显卡的驱动已经安装，需要验证以下代码反回为true

import torch
print(torch.cuda.is_available())
TruePrint(torch.cuda.device_count())
2

以下是我运行ChatGlm的pip list

(glm) root@gpt:/home/gpt# pip list
Package            Version
------------------ ------------
accelerate         0.19.0
aiofiles           23.1.0
aiohttp            3.8.4
aiosignal          1.3.1
altair             4.2.2
anyio              3.6.2
async-timeout      4.0.2
attrs              23.1.0
certifi            2022.12.7
charset-normalizer 2.1.1
click              8.1.3
cmake              3.25.0
contourpy          1.0.7
cpm-kernels        1.0.11
cycler             0.11.0
entrypoints        0.4
fastapi            0.95.1
ffmpy              0.3.0
filelock           3.9.0
fonttools          4.39.3
frozenlist         1.3.3
fsspec             2023.5.0
gradio             3.28.3
gradio_client      0.2.1
h11                0.14.0
httpcore           0.17.0
httpx              0.24.0
huggingface-hub    0.14.1
idna               3.4
Jinja2             3.1.2
jsonschema         4.17.3
kiwisolver         1.4.4
latex2mathml       3.75.5
linkify-it-py      2.0.2
lit                15.0.7
Markdown           3.4.3
markdown-it-py     2.2.0
MarkupSafe         2.1.2
matplotlib         3.7.1
mdit-py-plugins    0.3.3
mdtex2html         1.2.0
mdurl              0.1.2
mpmath             1.2.1
multidict          6.0.4
networkx           3.0
numpy              1.24.1
orjson             3.8.12
packaging          23.1
pandas             2.0.1
Pillow             9.3.0
pip                23.0.1
protobuf           4.23.0
psutil             5.9.5
pydantic           1.10.7
pydub              0.25.1
Pygments           2.15.1
pyparsing          3.0.9
pyrsistent         0.19.3
python-dateutil    2.8.2
python-multipart   0.0.6
pytz               2023.3
PyYAML             6.0
regex              2023.5.5
requests           2.28.1
semantic-version   2.10.0
sentencepiece      0.1.99
setuptools         66.0.0
six                1.16.0
sniffio            1.3.0
starlette          0.26.1
sympy              1.11.1
tokenizers         0.13.3
toolz              0.12.0
torch              2.0.1+cu118
torchaudio         2.0.2+cu118
torchvision        0.15.2+cu118
tqdm               4.65.0
transformers       4.27.1
triton             2.0.0
typing_extensions  4.4.0
tzdata             2023.3
uc-micro-py        1.0.2
urllib3            1.26.13
uvicorn            0.22.0
websockets         11.0.3
wheel              0.38.4
yarl               1.9.2

ChatGlm-6B多张显卡的web_demo.py相关推荐

pytorch指定用多张显卡训练_Pytorch中多GPU训练指北
前言在数据越来越多的时代,随着模型规模参数的增多,以及数据量的不断提升,使用多GPU去训练是不可避免的事情.Pytorch在0.4.0及以后的版本中已经提供了多GPU训练的方式,本文简单讲解下使用P ...
Keras同时用多张显卡训练网络
正文共4542个字,预计阅读时间12分钟. Author: Zongwei Zhou | 周纵苇 Weibo: @MrGiovanni Email: zongweiz@asu.edu Referenc ...
为什么amd显卡便宜却买的人少_这7张显卡现在最好不要买，千万不要花钱当冤大头...
买显卡前除了了解性能表现与价格之外,购买的时机也非常重要,特别是高端显卡,最近NVIDIA刚推出的RTX3080旗舰显卡,一经发售就立刻把上一代RTX2080 Ti打翻在地又踩上一脚,全新的3系显卡拥 ...
利用CUDA查看多张显卡可用显存和总显存大小
利用CUDA查看每张显卡上的可用显存大小和总的显存大小,参考了博文1,博文2,主要使用的函数是cudaMemGetInfo(),cudaGetDeviceCount()和cudaSetDevice() ...
两张显卡在win10上如何使用
我的服务器是装了win10 server系统,之前是2080ti显卡,正常使用没有问题,现在打算加装一张3080ti,但是显示感叹号,无法识别,想问问这种情况应该如何解决呢? 我也不是想两张卡交火,我 ...
一张显卡卖5-6万？Tesla计算卡你凭什么这么贵!
想必大家都知道,显卡巨头Nvidia公司的产品可以分为三大类:科学计算卡(Tesla).专业图形卡(Quadro)和家用显卡(Geforce)类.可是同样都是显卡,为什么Geforce卡只需要几千块, ...
史上最强吃鸡电脑配件更新!这张显卡都能买一套房子了
玩<绝地求生>的玩家都知道,没有一台好的电脑是吃不了鸡的,所以一台高端的吃鸡电脑是非常重要的.而这里面最重要的就是显卡,1060级别的显卡是标配,3G的显然不行,得要6G才完全施展的开, ...
为什么amd显卡便宜却买的人少_为什么这三张显卡没人用? 性能高居榜首, 却无人问津? 网友: 我都没见人提过...
最近峰哥网上冲浪时,看到网友提问,图中AMD的三款显卡怎么没有人用甚至都很少有人提起. 其实根据AMD这3款显卡在显卡天梯图中的位置,就可以说明它们是旗舰类型的显卡,它们的性能自然不必多说,AMD显卡 ...
查询服务器上几张显卡命令
命令1 nvidia-smi --query-gpu=name --format=csv,noheader GeForce GTX 1080 Ti GeForce GTX 1080 Ti 命令2 nv ...

ChatGlm-6B多张显卡的web_demo.py

ChatGlm-6B多张显卡的web_demo.py相关推荐

最新文章

热门文章