达到GPT4百分之90性能的小羊驼Vicuna

文章目录

达到GPT4百分之90性能的小羊驼Vicuna
一、小羊驼Vicuna介绍
二、使用效果测评
三、小羊驼Vicuna安装webui linux部署教程
总结踩坑经验

随着chatgpt大火，很多人都开始学习chatgpt相关知识，本文就介绍一下最近很火的小羊驼Vicuna项目。

一、小羊驼Vicuna介绍

一群来自UCB（主导这个项目）、CMU、Stanford、UCSD的充满热情且能力强劲的学生共同实现了以合规，廉价和高效的方式做出真正意义上和ChatGPT-3.5 相当的开源版本ChatGPT，GPT-4 给我们模型的“总分”最终达到了ChatGPT的90%

二、使用效果测评

话不多说先上图，这是我们在服务器上部署Vicuna-13b测试的效果

让小羊驼帮我写了一个汽车的广告

让小羊驼帮我根据一段新闻生成标题

三、小羊驼Vicuna安装webui linux部署教程

3.1 下载代码安装虚拟环境

下载代码
git clone https://github.com/lm-sys/FastChat
cd FastChat

使用conda安装虚拟环境
我使用的是A100显卡  python版本是3.8先安装几个单独的包
# Install FastChat
pip3 install fschat# Install the latest main branch of huggingface/transformers
pip3 install git+https://github.com/huggingface/transformerspip3 install --upgrade pip  # enable PEP 660 support
pip3 install -e .

3.2 下载权重文件

然后开始下载权重文件，分别是13b和7b，需要主要是是你cpu的内存要够，64g最佳Vicuna-13B
This conversion command needs around 60 GB of CPU RAM.python3 -m fastchat.model.apply_delta \--base /path/to/llama-13b \--target /output/path/to/vicuna-13b \--delta lmsys/vicuna-13b-delta-v0
Vicuna-7B
This conversion command needs around 30 GB of CPU RAM.python3 -m fastchat.model.apply_delta \--base /path/to/llama-7b \--target /output/path/to/vicuna-7b \--delta lmsys/vicuna-7b-delta-v0
--base 是你原始的llama-7b 权重文件的路径
--target 是你生成的小羊驼权重文件的存储路径

3.3 启动命令
启动方式分为命令行启动和webui启动方式
3.3.1 命令行启动方式

单GPU启动命令
The command below requires around 28GB of GPU memory for Vicuna-13B and 14GB of GPU memory for Vicuna-7B.python3 -m fastchat.serve.cli --model-name /path/to/vicuna/weights
多GPU启动命令
If you do not have enough GPU memory, you can use model parallelism to aggregate memory from multiple GPUs on the same machine.python3 -m fastchat.serve.cli --model-name /path/to/vicuna/weights --num-gpus 2
使用CPU启动的命令，不建议很吃CPU配置，并且很慢
This runs on the CPU only and does not require GPU. It requires around 60GB of CPU memory for Vicuna-13B and around 30GB of CPU memory for Vicuna-7B.python3 -m fastchat.serve.cli --model-name /path/to/vicuna/weights --device cpu

3.3.2
webui启动方式

python3 -m fastchat.serve.controllerpython3 -m fastchat.serve.model_worker --model-path /path/to/vicuna/weightspython3 -m fastchat.serve.test_message --model-name vicuna-13b

总结踩坑经验

例如：内存一定要够，要不然启动不起来服务，显存保底40G，才能稳定的保证webui服务启动起来，因为多轮对话以后显存涨的很快

超过ChatGPT3达到ChatGPT4%90性能的小羊驼来了-Vicuna(校招社招必备，chatgpt风口来了赶紧学起来吧)相关推荐

【LLMs系列】90%chatgpt性能的小羊驼Vicuna模型学习与实战
一.前言 UC伯克利学者联手CMU.斯坦福等,再次推出一个全新模型70亿/130亿参数的Vicuna,俗称「小羊驼」(骆马).小羊驼号称能达到GPT-4的90%性能 github 地址: GitHub ...
chrome edge浏览器支持chatGPT3.5/chatGPT4.0
推荐一款很好用的浏览器插件,大家可以下载登录免费使用 https://gochitchat.ai/invited?c=03d8c0066a2d2b2388e8997b94750918
互联网晚报 | 三星超过苹果成手机市场份额第一；特斯拉回应中国内地市场降价传闻；ChatGPT或会暴露企业机密信息...
苹果手机失去市场份额第一,2023年第一季度被三星反超调研机构Canalys发布了2023年第一季度的全球智能手机市场报告,该季度同比继续下跌12%,是连续第五个季度出现下跌.三星是头部厂商中唯一实 ...
2021年最新阿里社招面试题合集，能答对90%你就能去阿里面试了！
前言 Java-社招-3至5年经验流程填写资料-笔试-面试-等通知文章的开始为大家准备了一些Java架构学习资料,学习技术内容包含有:Spring,Dubbo,MyBatis, RPC, 源码分 ...
android性能调优！2021年Android春招面试经历，再不刷题就晚了！
前言对于字节跳动的二面三面而言,Framework+MVP架构+HashMap原理+性能优化+Flutter+源码分析等问题都成高频问点!然而很多的朋友在面试时却答不上或者答不全!今天在这分享下这些 ...
Android开发社招面试解答之性能优化，鬼知道我经历了啥
写在前面 1月初失业,找了近2个多月的工作了,还没找到心仪的工作,感觉心好慌,不知道该怎么办了?找不到工作的时候压力很大,有人说自信会很受打击,还有人说会很绝望,是人生的低谷--尽管很多时候我们自己知 ...
android 五大应用开发框架，2021Android开发社招面试解答之性能优化
Android架构: 1.Linux Kernel Android基于Linux 2.6提供核心系统服务,例如:安全.内存管理.进程管理.网络堆栈.驱动模型.Linux Kernel也作为硬件和软件 ...
java-集合-Map(双列)——迪迦重制版，2021Java开发社招面试解答之性能优化
3.举例: 4.创建Map集合的对象: 5.所有方法: 6.Map注意事项: 二.HashMap(让我们来具体看看这Map星云把我迦迷得不要不要的小妖精) 1.盖亚!!!(无不无聊-)-概述: 2.可 ...
Android面试中多说这么一句话，薪水直接涨5k，Android开发社招面试解答之性能优化
实际上,工资结构是由:月薪.五险一金.加班费.带薪年假.期权.股票等一起构成的.所以在后面的面试环节一定要问清楚公司的工资结构是由哪几部分构成的. 在了解工资结构之后,要对所投递行业的薪水范围进行调查 ...

超过ChatGPT3达到ChatGPT4%90性能的小羊驼来了-Vicuna(校招社招必备，chatgpt风口来了赶紧学起来吧)