顶会 多模态融合 五种时频图像一键切换 CVPR

本期推出联合 CVPR2022 视觉顶会论文 RepLKNet 的多模态缺点诊断翻新模型,适宜各种缺点诊断畛域、电能品质扰动信号、各种声信号、脑电信号等分类义务!

翻新模型还未宣布!!!有小论文、毕业论文需求的不容错过!

提供马尔可夫转换场 MTF 、递归图 RP 、格拉姆矩阵GAF、延续小波变换CWT、短时傅里叶变换STFT五种时频图像变换方法,可灵敏交流多模态特色中的时频图像类型!

1翻新模型相关解释

●数据集:CWRU西储大学轴承数据集

●环境框架:python 3.9 pytorch 2.1 及其以上版本均可运转

●时频图像变换:提供5种时频图像变换方法

●准确率:测试集100%

●经常使用对象:论文需求、毕业设计需求者

●代码保障:代码注释具体、即拿即可跑通。

2多模态翻新模型引见

2.1 模型翻新点引见

(1)多模态融合:

本模型将时频图像和一维时序信号启动多模态融合,充沛应用这两类数据的互补性。时频图像经过延续小波变换CWT,将信号的频率和期间特色可视化。而一维时序信号则保管了原始期间依赖消息,适宜经常使用递归神经网络(RNN)或BiGRU启动解决。经过融合这两种特色:

(2)RepLKNet用于时频图像的特色提取

咱们在时频图像的特色提取中引入了RepLKNet(Re-parameterized Large Kernel Network),这是一种经常使用大卷积核的卷积神经网络(CNN)。RepLKNet的长处在于:

这一翻新点让模型在时频图像特色提取环节中,能够捕捉到信号的更多上档次消息,使得分类模型在复杂信号环境下依然体现杰出。

(3)基于GlobalAttention优化的BiGRU网络

在解决一维时序信号时,咱们驳回了BiGRU(双向门控循环单元)来提取时序特色。为了进一步优化特色提取的效果,咱们引入了GlobalAttention机制,这一设计的长处在于:

这一翻新设计使得BiGRU在解决一维时序信号时,能够愈加有效地提取出缺点出现时的关键特色,清楚提高了信号分类的精度。

(4)特色融合长处

模型中的多模态融合部分,经过RepLKNet提取时频图像特色和BiGRU-GATT解决一维信号特色后,咱们驳回特色拼接融合的形式,将两种特色联合。相比于仅经常使用繁多形式特色的传统模型,融合后的特色在分类义务中的体现愈加优越,关键长处体如今:

这种特色融合战略使得咱们的模型在多种缺点形式下,依然能够坚持高效准确的分类功能,优化了模型在实践运行中的鲁棒性和泛化才干。

2.2 模型效果展现

(1)模型训练可视化

(2)模型评价

(3)混杂矩阵

(4)分类标签可视化

(5)原始数据 t-SNE特色可视化

(6)模型训练后的 t-SNE特色可视化:

模型分类效果清楚,50个epoch,准确率100%,经过多模态融合、RepLKNet时频图像特色提取、GlobalAttention优化的BiGRU、特色融合战略等多方面的翻新设计,使得模型在缺点信号分类义务中体现愈加杰出。这种融合了期间、频率和空间特色的多模态方法,特意实用于复杂的工业缺点诊断场景,具备宽泛的运行前景,效果清楚,翻新度高!

本文转载自​​,作者:

您可能还会对下面的文章感兴趣: