2024深度学习发论文&模型涨点之——小波变换+注意力机制

小波变换和注意力机制的结合火爆了！在CVPR、ICCV等顶会上都取得了一系列成果，如GestFormer、BWG、WaveIPT等。

小波变换是一种线性变换，它将一个信号分解为时间-尺度（或位置-频率）域上的表示。它使用小波函数作为基函数，通过在不同的尺度上与信号进行卷积来提取信号的特征。

注意力机制被用来增强模型对输入数据中某些部分的关注度，从而提高模型的性能和解释性。它允许模型在处理输入数据时动态地聚焦于数据的不同部分。这种机制通常通过计算输入序列中每个元素的重要性得分来实现，然后根据这些得分对输入数据进行加权，以生成输出。

我整理了一些小波变换+注意力【论文+代码】合集，需要的同学公人人人号【AI创新工场】自取。

论文精选

论文1：

[ICCV] WaveIPT: Joint Attention and Flow Alignment in the Wavelet domain for Pose Transfer

WaveIPT：在小波域中联合注意力和流对齐进行姿态转移

方法

• 注意力和流融合：提出了一种新的方法，通过在小波域中融合注意力和流来保留源图像的语义结构和目标姿态的细节。

• 小波变换（DWT）：使用离散小波变换（DWT）将特征转换到小波域，以便更好地处理不同频率下的特征。

• 内部尺度局部相关性（ILC）：在相同尺度内根据低频和高频域的优势自适应地融合注意力和流。

• 跨尺度特征交互（IFI）：探索不同尺度间的频率特征，促进不同尺度间有效信息的传递。

• 渐进式流正则化（PFR）：通过引入中间姿态来缩小源姿态和目标姿态之间的差距，提高流估计的性能。

创新点

• 联合注意力和流：通过在小波域中同时利用注意力和流的优势，实现了更好的特征融合，从而在DeepFashion数据集上实现了新的最先进性能，具体表现为FID和LPIPS分别提高了4.97%和3.89%。

• 内部尺度局部相关性（ILC）：通过在特定尺度内补充不同频率带，利用注意力和流在保留高频和低频信息方面的优势，提高了生成图像的质量。

• 跨尺度特征交互（IFI）：通过促进不同尺度间的信息传递，增强了特征的恢复，进一步提升了生成质量。

• 渐进式流正则化（PFR）：通过使用中间姿态来近似源到目标的流，有效减少了大姿态差异下的流估计挑战，增强了流估计的性能。

论文2：

[AAAI] Learning Generalized Segmentation for Foggy-Scenes by Bi-directional Wavelet Guidance

通过双向小波引导学习雾景场景的泛化分割

方法

• 双向小波引导（BWG）机制：提出了一种新的机制，通过Haar小波变换将内容增强、城市风格解耦和雾风格解耦分开处理。

• 自注意力模块：使用三个独立的自注意力模块分别代表内容、雾风格和城市风格。

• 高频和低频成分的分离与交互：通过Haar小波变换将高频成分从低频成分中分离，然后将低频成分集中在内容增强模块，高频成分转移到风格和雾模块。

创新点

• 双向小波引导（BWG）：通过在小波域中同时处理内容增强、城市风格解耦和雾风格解耦，显著提高了模型对未见过的雾场景的泛化能力，性能提升具体表现为在 Foggy Zurich 数据集上提高了11.8% mIoU，在 ACDC-fog 数据集上提高了16.7% mIoU。

• 自注意力模块的应用：通过将自注意力机制集成到Transformer分割模型中，增强了模型对场景的表示能力。

• 高频和低频成分的有效分离：通过将内容（如场景语义）主要保留在低频成分中，而将风格（如城市景观和雾）主要保留在高频成分中，提高了模型对雾条件变化的鲁棒性。

论文3：

[Nature] Gearbox fault diagnosis method based on lightweight channel attention mechanism and transfer learning

基于轻量级通道注意力机制和迁移学习的齿轮箱故障诊断方法

方法

• 小波变换：通过小波变换获取原始信号的时频分布，直观反映信号的局部特征。

• 轻量级高效通道注意力机制（LECA）：基于局部跨通道交互策略设计，调整1D卷积的核心大小以适应通道数和系数，使用多尺度特征输入以保留不同维度的详细特征。

• 轻量级卷积神经网络：构建轻量级卷积神经网络，以减少计算成本。

• 迁移学习：应用迁移学习方法，冻结网络的低层结构，使用小样本微调模型的高层结构。

创新点

• 基于EfficientNetV2网络的新模型：使用通道注意力机制优化通过适当跨通道减少维度的负面影响，多尺度特征输入用于保留不同维度的更详细特征。基于局部跨通道交互策略，调整受通道数和系数影响的跨通道大小，使注意力机制轻量化。

• 迁移学习策略：通过迁移学习策略从小样本中提取特征，实现对未训练工作条件和小样本的高精度故障诊断，扩大了迁移学习的应用范围。实验验证表明，所提出的模型具有强大的泛化能力，能够适应不同工作条件和组件的故障分布差异，同时在有限样本下仍具有良好的故障诊断性能。

• 性能提升的具体数据：LECA-EfficientNetV2模型在轴承和齿轮样本上的准确率分别达到了99.38%和99.75%，故障诊断时间分别为13.57秒和13.22秒。与SE-EfficientNetV2和ECA-EfficientNetV2相比，LECA-EfficientNetV2在两个数据集上都具有最佳的诊断效果，能够提取更详细的特征，并有效完成齿轮箱故障诊断。

论文4：

[Nature] Flight trajectory prediction enabled by time-frequency wavelet transform

由时频小波变换启用的飞行轨迹预测

方法

• 时频分析：提出基于小波变换的框架，执行飞行模式的时频分析以支持轨迹预测。

• 编码器-解码器神经架构：开发编码器-解码器神经架构以估计小波分量，专注于有效建模全局飞行趋势和局部运动细节。

• 实际数据集构建：构建实际数据集以验证提出的方法。

创新点

• 时频框架的创新提出：与以往工作相比，提出的框架通过纳入时频分析来捕获轨迹的动态特性，极大改善了飞行轨迹预测。

• 编码器-解码器深度学习架构：提出生成小波系数的编码器-解码器深度学习架构，分别在不同尺度上建模全局飞行趋势和局部运动细节，以支持IDWT程序的FTP任务。

• 小波注意力模块设计：在每个解码器中设计小波注意力模块，以从历史轨迹序列中利用尺度导向的底层模式，并增强对不同尺度飞行模式的学习能力，以提高预测性能。

• 性能提升的具体数据：实验结果表明，提出的WTFTP框架在所有比较基线中表现最佳，特别是在带有机动控制的爬升和下降阶段，获得了改进的预测性能。在短途FTP任务中，WTFTP框架实现了小于400米的三维偏差误差，并在不同飞行阶段（即巡航、爬升和下降）表现出鲁棒的预测性能。