点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Transformer】微信技术交流群

转载自：机器之心

从此，大模型可以在任何设备上编译运行。

「我把大语言模型下到我的 iPhone 上，它神奇地跑起来了！」

五一假期还没过半，大模型领域的技术就已经发展到了这种程度。

对于陈天奇等人开源的新技术，大家一致的评论是「Amazing」。

最近人们都在研究 ChatGPT，大语言模型（LLM）彻底改变了科技领域的格局，但对于 AI 开发者来说，并不是人人都有上万块 A100 的。为了跑得起大模型，就要寻找各种优化方法。

在让大模型变小这条路上，人们做了很多尝试，先是 Meta 开源了 LLaMA，让学界和小公司可以训练自己的模型。随后斯坦福研究者启动了 Lamini，为每个开发者提供了从 GPT-3 到 ChatGPT 的快速调优方案。

最近这个叫 MLC LLM 的项目可谓一步登天，因为它能让你「在任何设备上编译运行大语言模型。

MLC LLM 为我们在各类硬件上原生部署任意大型语言模型提供了解决方案，可将大模型应用于移动端（例如 iPhone）、消费级电脑端（例如 Mac）和 Web 浏览器。

该项目是由 TVM、MXNET、XGBoost 作者，CMU 助理教授，OctoML CTO 陈天奇等多位研究者共同开发的，参与者来自 CMU、华盛顿大学、上海交通大学、OctoML 等院校机构，同时也获得了开源社区的支持。

• 项目地址：https://github.com/mlc-ai/mlc-llm

• Demo：https://mlc.ai/mlc-llm/

借助 MLC LLM 方案，我们可以在移动端部署和运行大型语言模型，例如在 iPhone 上运行聊天机器人：

在 Web 浏览器上运行聊天机器人：

当然，在 Windows 和 Linux 上本地运行也是肯定可以的，聊天机器人应用程序能通过 Vulkan 平台在 GPU 上运行：

MLC-LLM 推出不到两天，GitHub 的 Star 量已经接近一千。在社交网络上人们纷纷点赞，表示 MLC-LLM 让我领教了低精度跑 AI 的可怕程度：

也有人晒出了自己的使用体验，iPhone 飞行模式本地跑大语言模型：

简单来说，MLC LLM 是一种通用解决方案，它允许将任何语言模型本地部署在各种硬件后端和本地应用程序上。此外，MLC LLM 还提供了一个高效的框架，供使用者根据需求进一步优化模型性能。

MLC LLM 旨在让每个人都能在个人设备上本地开发、优化和部署 AI 模型，而无需服务器支持，并通过手机和笔记本电脑上的消费级 GPU 进行加速。具体来说，MLC LLM 支持的平台包括：

• iPhone

• Metal GPU 和英特尔 / ARM MacBook;

• 在 Windows 和 Linux 上支持通过 Vulkan 使用 AMD 和 NVIDIA GPU；

• 在 Windows 和 Linux 上 通过 CUDA 使用 NVIDIA GPU；

• 浏览器上的 WebGPU（借助 MLC LLM 的配套项目 Web LLM）。

项目概览

为了实现在各类硬件设备上运行 AI 模型的目标，研究团队首先要解决计算设备和部署环境的多样性问题，主要挑战包括：

• 支持不同型号的 CPU、GPU 以及其他可能的协处理器和加速器；

• 部署在用户设备的本地环境中，这些环境可能没有 python 或其他可用的必要依赖项；

• 通过仔细规划分配和积极压缩模型参数来解决内存限制。

• MLC LLM 提供可重复、系统化和可定制的工作流，使开发人员和 AI 系统研究人员能够以 Python 优先的方法实现模型并进行优化。MLC LLM 可以让研究人员们快速试验新模型、新想法和新的编译器 pass，并进行本地部署。

原生部署

为了实现原生部署，研究团队以机器学习编译（MLC）技术为基础来高效部署 AI 模型。MLC LLM 借助一些开源生态系统，包括来自 HuggingFace 和 Google 的分词器，以及 LLaMA、Vicuna、Dolly 等开源 LLM。

MLC LLM 的主要工作流基于 Apache TVM Unity，通过扩展 TVM 后端使模型编译更加透明和高效。

• Dynamic shape：该研究将语言模型烘焙（bake）为具有原生 Dynamic shape 支持的 TVM IRModule，避免了对最大输入长度进行额外填充的需要，并减少了计算量和内存使用量。

• 可组合的 ML 编译优化：MLC LLM 可以执行许多模型部署优化，例如更好的编译代码转换、融合、内存规划和库卸载（library offloading），并且手动代码优化可以很容易地合并为 TVM 的 IRModule 转换，成为一个 Python API。

• 量化：MLC LLM 利用低位量化来压缩模型权重，并利用 TVM 的 loop-level TensorIR 为不同的压缩编码方案快速定制代码生成。

• 运行时（Runtime）：TVM 编译生成的库能够通过 TVM runtime 在设备的原生环境中运行，TVM runtime 支持 CUDA/Vulkan/Metal 等主流 GPU 驱动以及 C、JavaScript 等语言的绑定。

此外，MLC 还为 CUDA、Vulkan 和 Metal 生成了 GPU shader，并通过 LLVM 支持多种 CPU，包括 ARM 和 x86。通过改进 TVM 编译器和运行时，使用者可以添加更多支持，例如 OpenCL、sycl、webgpu-native。

MLC-LLM 的发布让我们再次感受到了陈天奇 TVM 的力量。

陈天奇是机器学习领域知名青年学者，2019 年任卡耐基梅隆大学机器学习、计算机科学系助理教授。早在 2017 年，他和他的同时开源了著名深度学习框架 TVM，对业界产生了深远的影响。利用这一工具，机器学习算法可以自动编译成可供下层硬件执行的机器语言，从而可以利用多种类型的算力。

在人们的努力下，我们或许很快就能看到云 + 端侧分别部署大模型的下一代应用。

参考链接：

https://zhuanlan.zhihu.com/p/625959003

https://mlc.ai/mlc-llm/

https://mlc.ai/web-llm/

https://github.com/mlc-ai/web-llm/tree/main

点击进入—>【Transformer】微信技术交流群

最新CVPR 2023论文和代码下载

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

目标检测和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer333，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群▲扫码或加微信号: CVer333，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉，已汇集数千人！▲扫码进星球
▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看