我们知道预训练权重是一个字典,里面是网络encoder每一层的权重,拿Resnet34来说,第一层是7x7的卷积权重,最后一层是fc层,之前看到一篇文章Bag of tricks for image classification中提到,将input stem可以替换为其他几种格式可以提高performance,相当于一个trick。

 对于(b),我们将7x7卷积替换为3个3x3卷积,但是我们替换完之后,新的模型就和原始的权重不匹配,就会报错“missing key:”“unexpected key:”之类的。当时我想着载入部分权重,将权重中7x7的key和value删除掉,但是仍然会报错,即:没有3个3x3模型的key。

经过导师的指导,只要把load_state_dict参数里面的strict参数设置为False即可。

在nn.Module中strict函数默认为True,即模型与预训练模型参数的key是完全对应才可以导入,当你修改模型仍要使用预训练权重时候就要设置为False,只有key匹配的层才载入,不匹配的层就会默认初始化。

 因此我们在找到model载入的地方进行修改:在resnet代码中,以及在模型总的代码中修改。

model.load_state_dict(weights, strict=False)

之后可以正常运行:

 

Logo

GitCode 天启AI是一款由 GitCode 团队打造的智能助手,基于先进的LLM(大语言模型)与多智能体 Agent 技术构建,致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话,还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力,真正做到“一句话,让 Al帮你完成复杂任务”。

更多推荐