Pytorch中计算自己模型的FLOPs(profile(),clever_format())
Pytorch中计算自己模型的FLOPs(profile(),clever_format())
·
提到计算量必然涉及FLOPS, FLOPs和MACs,并不是同样的意思,切忌混淆。
FLOPS:Floating Point Operations Per Second,每秒浮点运算次数,是一个衡量硬件计算性能的指标。
FLOPs:Floating Point Operations,浮点运算次数,常用来衡量模型的计算复杂度,即计算量。(大多数论文会在表格中给出模型的FLOPs指标。不过,该指标与实际速度并不完全正相关,我自己测也是这样,所以也有一些论文会给FPS或者1/FPS即单图片推理时间。)
显然,FLOPS和FLOPs不是一回事,FLOPS的积分可以理解为等于FLOPs。
MACs:Multiply–Accumulate Operations,1 MAC = 1次加法+1次乘法操作。
因为,每次运算就等于1次FLOPs,所以,近似地,从数值上看我们有
安装thop
pip install thop
基础用法
以查看resnet50的FLOPs为例
from torchvision.models import resnet50
from thop import profile
model = resnet50()
input = torch.randn(1, 3, 224, 224)
flops, params = profile(model, inputs=(input, ))
查看自己模型的FLOPs
class YourModule(nn.Module):
# your definition
def count_your_model(model, x, y):
# your rule here
input = torch.randn(1, 3, 224, 224)
flops, params = profile(model, inputs=(input, ),
custom_ops={YourModule: count_your_model})
提升输出结果的可读性,clever_format是更好的输出形式。
调用thop.clever_format
from thop import clever_format
flops, params = clever_format([flops, params], "%.3f")

GitCode 天启AI是一款由 GitCode 团队打造的智能助手,基于先进的LLM(大语言模型)与多智能体 Agent 技术构建,致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话,还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力,真正做到“一句话,让 Al帮你完成复杂任务”。
更多推荐
所有评论(0)