不要相信深度学习报告的TOPS指标

AI 公司通常遵循一个标准：每秒更多 tera 操作 (TOPS)。不幸的是，当硅制造商宣传他们的 TOPS 指标时，他们并没有真正提供准确的指导。在大多数情况下，被炒作的数字不是真正的 TOPS，而是峰值 TOPS。换句话说，你认为你在卡片中获得的 TOPS 数字实际上是芯片在一个非常完美的世界中表现的最佳情况。

我将讨论行业因错误标记性能指标而造成的问题，并解释用户如何独立评估现实世界的 TOPS。

人造上衣与真实上衣

AI 应用程序开发人员通常通过衡量芯片制造商发布的 TOPS 性能数据是否足以支持他们的项目来开始进行尽职调查。

假设您正尝试以 10 fps（每秒帧数）的速度在 U-Net 神经网络上重新制作全高清图像。由于 U-Net 操作每个图像需要 3 个 TOPS，简单的数学计算表明您需要 30 个 TOPS 才能以所需的 FPS 完成您的项目。因此，在购买芯片时，您会假设声称运行 50、40 甚至 32 TOPS 的卡对于该项目是安全的。在一个完美的世界中，是的，但您很快就会发现该卡很少达到广告号码。而且我们不是在谈论仅仅几个 TOPS 的下降；计算效率可低至 10%。

虽然调整神经网络以从卡中榨取更好的性能当然是可能的，但您极不可能接近供应商列出的峰值 TOPS。试图获得甚至 60% 或 70% 的计算效率将是一个巨大的时间消耗。如果神经网络发生任何变化，您将不得不返回原点以再次优化所有内容——而且，它甚至可能不适用于您的应用程序。这个问题在小批量加工中尤为突出；你会很幸运地获得超过峰值 TOPS 的 15%。

计算效率

此时，您可能想知道如何计算真实的 TOPS。这很简单！

要了解特定卡将提供多少实际 TOPS，您首先需要确定该卡的计算效率。理想情况下，这可以通过在目标卡上运行您需要的神经网络来完成。但是，您可能没有该卡。您仍然可以通过查看更多来自供应商的营销数字的详细信息来进行估算。通常可以获得 ResNet50（或类似网络）等神经网络的性能数据。假设这是一个典型的 ResNet50 实现，您可以找到每秒的千兆操作数（GOPS，而不是 TOPS）来计算单个图像。然后，只需将其乘以供应商宣传的每秒图像数量 (IPS)，瞧！您将获得更真实的 TOPS 或“真实”TOPS 数量。

效率只是实际除以峰值 TOPS 的比率或：

峰值 TOPS x 计算效率 = 实际 TOPS

这个公式使用户能够在购买任何东西之前比较运行神经网络时卡片的真实效率。您可以使用所需的 TOPS 重复使用效率，看看它是否符合您的需求。虽然功率和批量大小等因素会影响结果，但如果您知道卡的效率，则此公式可以很好地估计其在实际用例中的实际性能。当然，供应商发布的神经网络的 IPS 仍然存在疑问，但至少与比较您实际需要的 TOPS 和卡的峰值 TOPS 相比，估计值提供了更好的主意。

还值得注意的是，这不仅仅是 GPU 问题。大多数专用 ASIC 的实际效率非常低，即使它们的营销促进了高效率。就拿 IPS、已知的网络 GOPS 和一个简单的乘法来说，你就会知道一个真实的数字。

高效的替代品

尽管 GPU 和 ASIC 在效率和性能方面苦苦挣扎，但有一种替代解决方案不涉及这两种芯片中的任何一种。

2020 年 10 月的 MLPerf 结果表明，结合推理加速的 FPGA 比替代方案更高效，因此可以更接近其他芯片制造商宣传的峰值 TOPS 数字。

FPGA 不仅在计算方面更高效，而且在计算硅片使用方面也更高效。从本质上讲，这些卡“事半功倍”，从而以很少的成本获得更好的神经网络性能。

值得重申的是：买家不应该被TOPS 营销炒作的高峰期所迷惑。这是大多数神经网络在现实条件下永远不会看到的夸大的性能数字。相反，利用这个公式：

峰值 TOPS x 计算效率 = 实际 TOPS

这样做将帮助您快速、轻松、准确地将您的性能需求与芯片的实际性能进行比较，而不是任何夸大的供应商声明。
相关实战：https://www.99qibang.cn/information/ab299c4fc34a49c39bce5cc4c1a4e0ae.html
https://www.99qibang.cn/information/c5a2ef5cd9b64c819aad98f46624ced8.html
https://www.99qibang.cn/information/fd3ef3287a944cc495643bc410c0db37.html

不要相信深度学习报告的TOPS指标相关推荐

如何绘制深度学习-目标检测评估指标P-R（precision-recall）曲线？如何计算AP（average-precision）？
参考文章:深度学习-目标检测评估指标P-R曲线.AP.mAP 文章目录 P-R曲线: AP计算: 下面通过具体例子说明. 首先用训练好的模型得到所有测试样本的confidence score,每一类( ...
【深度学习】——模型评估指标MAP计算实例计算
目录一.知识储备 1.IOU--交集面积与并集面积之比 2.混淆矩阵(TP.FP.FN.TN) 问题1:上面的TP等具体是如何计算得到的? 3.精度precision&召回率recall 二 ...
【深度学习笔记】分类指标accuracy，recall，precision等的区别
在机器学习里面做一些分类任务时,经常会使用到一些评价指标,下面就一些常用的指标进行详细的说明. 上图表示为一个二分类的混淆矩阵(多分类同理,只需要把不属于当前类的其他类都考虑为负例),表格中的四个参数 ...
深度学习各场景评估指标总结
下表总结了机器学习在常见场景下使用的评估指标: (PS:原文档包含截图,已上传到个人资源) 类别场景场景描述应用场景指标说明图像图像分类识别一张图中是否是某类物体/状态/场景,适用于图 ...
matlab计算miou值,深度学习计算机视觉图像分割领域指标mIoU（平均交并比）计算代码与逐行解析...
import numpy as np import argparse import json from PIL import Image from os.path import join #设标签宽W ...
深度学习-目标检测评估指标P-R曲线、AP、mAP
基本概念 P-R曲线中,P为图中precision,即精准度,R为图中recall,即召回率. Example 下面通过具体例子说明. 首先用训练好的模型得到所有测试样本的confidence sc ...
深度学习目标检测中计算目标的AP（average precision）平均精度、有什么用？
AP衡量的是学出来的模型在每个类别上的好坏,mAP衡量的是学出的模型在所有类别上的好坏,得到AP后mAP的计算就变得很简单了,就是取所有AP的平均值. 参考文章:深度学习-目标检测评估指标P-R曲线. ...
【深度学习系列】基础知识、模型学习
基础知识原创 [深度学习]--训练过程原创 [深度学习]--BN层(batch normalization) 原创 [深度学习]--激活函数(sigmoid.tanh.relu.softmax) ...
学python买什么电脑好用又实惠_用不到1000美元攒一台深度学习用的电脑：一次深度学习和便宜硬件的探奇！...
编者按:本文来自微信公众号"OReillyData"(ID:OReillyData),作者Lukas Biewald,36氪经授权发布. 是的,你可以在一个39美元的树莓派板子上运 ...

不要相信深度学习报告的TOPS指标

不要相信深度学习报告的TOPS指标相关推荐

最新文章

热门文章