看完沐神的装机清单,我酸了。。
上一篇:3个月找不到工作,我找了个“替身”面试成功拿到Offer,顺利入职了,结果翻车......
提到李沐老师,大家应该挺熟悉的了,亚马逊资深首席科学家,AI领域的大牛。
这不前段时间,李沐老师的频道里更新了一期装机的视频(BV1NB4y1L7R8),实不相瞒,看完实在是慕了。
在还没出装机视频前,李沐老师曾发起了一个小小的问卷调查,看下童鞋们对装机跑Transformer有多大兴趣。
当时参与的小伙伴很多,足见大家还是很期待的。
这不,沐神带着他的装机视频来了。
在这个项目的开始,先装了2台原型机,每台机器都是双卡RTX 3090TI,采用了水冷散热系统,减少了噪音。
这一台机器装下来,造价可不低。
话不多说,来看看沐神是如何装机的吧~
装机清单
装机的需求,首先就要是足够安静,不然太吵的话没法工作。
第二个需求就是散热要好。不然温度过高的话会导致GPU降频。
第三个,重点来了,因为需要跑比较大的Transformer模型,所以GPU的带宽必须足够好。
如果之前装过GPU服务器用来跑CNN的话,跟跑Transformer模型的需求会不太一样。因为Transformer模型比CNN模型要更大,对内存的占有率会更高。所以GPU的内存大小非常重要。
之前李沐老师也讲过,要把这样大的Transformer模型放到多个GPU上训练,来自谷歌、微软等的工程师都是使用类似DGA X100这样的机器来跑的。即使在这样的机器上,GPU的带宽仍然是一个瓶颈。
购买这种服务器GPU和游戏GPU的区别就在于,前者不在于单卡能跑多快,而是卡与卡之间能够多快地连接出来。
因此装机理念的重点就是:尽量增大GPU内存,以及GPU之间互联的一个带宽,
如果一台机器想放很多卡的话,就要买涡轮的散热。
如果想要安静的话,就买水冷的散热,沐神买的是4块3090 TI。用水冷的好处是比较安静,坏处就是特别占地方。
所以,如果要在机箱放四块卡的话,就不要买水冷的版本,而是要买只有一个涡轮风扇的版本。
而且机箱里风的流向是一个特别重要的问题。如果买带3个风扇的卡,风是从正面进入机箱,然后从四面八方散热,卡挨得紧的话,机箱里的温度就会非常高。
作者也说,自己在多年前,买了四块2个大风扇的卡放在一起,结果就导致一块卡温度过高烧掉了。
GPU选好以后(华硕的ROG), 剩下的配置就比较简单。CPU用的是AMD的12核CPU,主板是号称PCIE 4.0 16的某牌子,硬盘是2TB的M.2硬盘,风扇是120毫米水冷风扇,加一个全尺寸机箱。
压力测试
在装机完成后,下一步的任务就是继续装上操作系统。
这里沐神装的是ubuntu22,装上之后就靠远程连上去了。
当然了,作者也是把各种情况说的比较详细,除了ubuntu22以外,windows和linux在不同的需求下也是可以的。
这里沐神用的SSH进行的远程连接。
沐神的系统已经装上了驱动,同时,他也指出如果还没有驱动的话,也可以用apt-get装上nvidia-driver-515。
装好之后,就可以运行nvidia-smi,看到系统了。
从中可以看到各项信息。比如GPU的数量、温度、瓦数、内存使用等等。
接下来还可以通过nvidia-smi的topo-m矩阵看到nv-link是否正常。
可以看到两个GPU由NV4连接。4表示4个通道,这就代表连接是正常的。
下一题,就是测试系统在满负荷的情况下的温度。
沐神表示,测试GPU的是一个叫gpu-burn的小程序,github上可以下载。
视频中模拟跑了十分钟,也是看到了两个GPU的温度。作者还打趣说,都能感觉到GPU在呼呼吹热风。
同理,CPU也可以用这种办法测试温度,用的是cpu-burn。
最终两个GPU的温度停留在58度和55度,功耗拉到了440多瓦(满功耗480瓦),还挺好的。
最后的一项参数是机器的耗电情况。作者的测试大概用了1240瓦,意味着每小时用电1.2度。
从目前的数据来看,稳定性还ok。
至于用这台机器跑Transformer性能怎么样,这就得等以后的视频了。
网友热评
视频发出后,b站的网友也表示出了极大的兴趣。
有满分课代表同学出没,列出了视频中提到的完整配置清单。
当然了,这种硬核装机视频下的评论肯定少不了幽默因素。
只能说,太真实了。
不说了,努力搬砖去了,争取早日也能攒一台这样的台式机~
全文完,感谢你的耐心阅读。如果你还想看到我的文章,请一定给本文“在看”、“点赞”,新文章推送才会第一时间出现在你的微信里。
- END -
热门推荐:
这个外包公司太恶心了。。进去请三思!
1024程序员节,别人家的公司真香!羡慕ing~
当程序员们决定去考公
字节绩效开奖了!最新“铁饭碗”排名,公务员排第六,国家烟草第四,医生第二,第一很多人却不知道
PS:如果觉得我的分享不错,欢迎大家随手点赞、转发、在看
看完沐神的装机清单,我酸了。。相关推荐
- 看完沐神的装机视频,原来还能这么玩?
点击上方"AI遇见机器学习",选择"星标"公众号 重磅干货,第一时间送 来自|新智元 编辑|Aeneas 拉燕 桃子 [导读]AI大牛李沐带你来装机! AI大 ...
- 为什么程序员怕改需求?看完这些神解释我笑了
点击上方"前端开发博客",选择"设为星标" 回复"2"加入前端群 综合整理:程序员的那些事 为什么程序员/设计师怕改需求?网上有类似的段子, ...
- 豆瓣9.7,这些舍不得看完的神剧,看一集少一集啊!
全世界只有3.14 % 的人关注了 爆炸吧知识 今天给大家介绍一位好朋友--菌菌. 菌菌,作为资深美剧迷+英语博主,收藏了很多经典美剧.动画资源,每天还会和大家分享新鲜有趣的英语知识.喜欢看美剧追动画 ...
- 豆瓣9.7,这些舍不得看完的神剧,看一集少一集!我刷了一晚上……
全世界只有3.14 % 的人关注了 爆炸吧知识 今天给大家介绍一位好朋友--小樱, 小樱,作为资深美剧迷+英语博主,收藏了很多经典美剧.动画资源,每天还会和大家分享新鲜有趣的英语知识.喜欢看美剧追动画 ...
- 【开心一刻】为什么程序员怕改需求?看完这些神解释我笑了
为什么程序员/设计师怕改需求?网上有类似的段子,比如:「杀一个程序员不需要用枪,改三次需求就可以了.」 有网友在知乎上提问「如何向外行解释产品经理频繁更改需求为什么会令程序员烦恼?」.本文综合了 3 ...
- 厉害!中国AI企业50强榜单!看完员工待遇,网友:我酸了!
有自媒体说,现在各大国对AI的部署,就像对"核武器"的部署一样,这份脑力和智力的比拼,超级大国都绝对不能输. 在最近,赛迪研究院就发布了「2019人工智能企业综合实力100强名单」 ...
- 服务器运行功率 与额定功率 比例,看完变大神 几招轻松教你看懂电源铭牌
电源是很多消费者装机的时候容易忽略的地方,装机硬件里CPU与主板是必须匹配的,打个比方,Intel酷睿i7的CPU有些可以装在X79的主板上,有些则只能安装在Z97.Z87等等主板上,所以必须按照相应 ...
- 看完微软大神写的求平均值代码,我意识到自己还是 too young 了
博雯 发自 凹非寺 量子位 | 公众号 QbitAI取整求个无符号整数的平均值,居然也能整出花儿来? 这不,微软大神Raymond Chen最近的一篇长文直接引爆外网技术平台,引发无数讨论: 无数人点 ...
- win7原版镜像_告诉你Ghost系统和原版系统之间的区别,看完再装机也不晚
在安装电脑Win系统的时候,有非常多的版本可以选择,不少用户都会看花眼,经常出现的是ghost这个版本,ghost 是什么意思?和原版系统有什么区别呢?今天小编就跟大家介绍一下一下ghost系统和原版 ...
最新文章
- [微信小程序]滚动选择器
- 获得 bootstrapTable行号index
- 【错误记录】Android NDK 编译报错 ( no known conversion from ‘unsigned char *‘ to ‘const char *‘ )
- 求n!最后一位非零数
- 2021-09-09 Hadoop Hive Spark概览
- axure能做剪切蒙版吗_Axure图片裁切功能
- 魔兽争霸lostTemple地图
- 简单易懂的讲解深度学习(入门系列之八)
- feign接口返回泛型设置属性为null问题
- window和frame的用法
- 算法学习过程入门篇(2)-算法初步
- 从图像超分辨率快速入门pytorch
- Vue 3 中 v-if 和 v-show 指令实现的原理(源码分析)
- 理解git fetch, git pull 以及 FETCH_HEAD的含义
- VS2015调试dump文件时提示未找到xxx.exe或xxx.dll
- Chrome 开发者工具审查元素快捷键
- 目标感-培养年轻人自己的目标感
- svg怎么转为jpg格式?
- 使用au录音有回音_如何使用回音按钮控制智能家居设备
- 计算机多媒体思政课,关于思政课多媒体教学存在的问题及对策论文