KAN 聊聊卷积联合留意力机制！ KAN

2024-11-15

第一类基础线性层交流

KAN 层交流线性层 Linear：

降级对于LSTM、TCN、Transformer模型中用 KAN 层交流线性层的缺点分类模型。

KAN 的准确率要优于 MLP，咱们可以进一步尝试在惯例模型的最后一层线性层都交流为 KAN 层来启动对比；KAN 卷积比惯例卷积准确率有稍微的优化！

KAN卷积、GRU并行：

缺点信号同时送入并行模型，分支一经过 KAN卷积启动学习，分支二应用 GRU 提取缺点时域特色，而后并行特色启动重叠融合，来增强缺点信号特色提取才干。

50个epoch，训练集、验证集准确率97%，用改良 KANConv-GRU 并行网络分类成果清楚，模型能够充沛提取轴承缺点信号中的缺点特色，收敛速度快，功能优越，精度高，成果清楚!

准确率、准确率、召回率、F1 Score

缺点十分类混杂矩阵：

咱们发明性的提出在应用 KAN 层提取的特色作为自留意力机制的输入，来进一步参与非线性才干，详细步骤如下：

1.输入嵌入：

首先经常使用 unsqueeze 将输入从 ([batch_size, input_dim]) 裁减为 ([batch_size, 1, input_dim])，以便兼容后续的操作。

经常使用 input_proj 线性层将输入从 ([batch_size, 1, input_dim]) 映射到 ([batch_size, 1, embed_dim])。

2.查问-键-值投影：

3. 重塑和转置：

4.计算留意力权重和输入：

5.输入重塑和映射：

经过这种模式，输入和输入的维度坚持分歧。自留意力机制经过计算每个输入元素与其余一切输入元素之间的相关性（留意力分数），并应用这些相关性来加权求和，降级每个输入元素的示意，从而捕捉到输入序列中元素之间的依赖相关。进一步增强了 KAN 输入消息对复杂特色的建模才干。

KAN 卷积与卷积十分相似，但不是在内核和图像中相应像素之间运行点积，而是对每个元素运行可学习的非线性激活函数，而后将它们相加。咱们在KAN卷积的基础上融合通道留意力机制，进一步增强了对特色的提取才干！

从对比试验可以看出, 在轴承缺点诊断义务中：

KAN卷积融合留意力机制后，成果优化清楚，后续还可以进一步尝试与其余类型的留意力机制做融合！

本文转载自，作者：