Informer 超强！一区间接写！基于SSA

1模型翻新点引见

1.1 时序特色捕捉与建模

经常使用Informer的编码器层来捕捉长缺点信号时序依赖特色

1.2 概率稠密留意力机制（ProbSparse Self-attention）

概率稠密自留意力是Informer模型中引入的一种稠密自留意力机制。其外围现实是经过概率方法选用最关键的一局部留意力权重启动计算，而疏忽那些对结果影响较小的权重。这种方法能够清楚降落计算复杂度，同时坚持较高的模型功能。

1.3 多尺度特色提取-消息蒸馏

Informer的架构图并没有像Transformer一样在Encoder的左边标注来示意N个Encoder的重叠，而是一大一小两个梯形。横向看完单个Encoder（也就是架构图中左边的大梯形，是整个输入序列的主堆栈）。

Encoder的作用是Self-attention Distilling，因为ProbSparse自相关机制有很多都是用V的mean填充的，所以自然就存在冗余的attention sorce ,因此在相邻的Attention Block之间运行卷积与池化来对特色启动下采样，所以作者在设计Encoder时，驳回蒸馏的操作始终抽取重点特色，从而失掉值得重点关注的特色图。

1.4 特色增强与融合

在Informer的编码器层联合SENet启动特色增强

1.5 麻雀优化算法搜查参数

经过SSA，能够在较大的参数空间中高效地找到最优参数组合，增强模型的诊断才干和泛化功能。

参数优化的必要性

2轴承数据加载与预处置

2.1 导入数据

参考之前的文章，启动缺点10分类的预处置，凯斯西储大学轴承数据10分类数据集：

train_set、val_set、test_set 均为依照7：2：1划分训练集、验证集、测试集，最后保留数据

上图是数据的读取方式以及预处置思绪

2.2 数据预处置，制造数据集

3 麻雀优化算法

3.1 麻雀优化算法引见

麻雀优化算法（Sparrow Search Algorithm，简称SSA）是一种基于自然界麻雀行为特点的优化算法，它模拟了麻雀在寻食、迁移和社交等行为中的优化战略。该算法在处置多种优化疑问方面展现出了良好的功能。

麻雀优化算法的基本思维是经过模拟麻雀的寻食行为，始终优化搜查空间中的解。算法的环节可以分为寻食行为、迁移行为和社交行为三个阶段。

(1). 寻食行为（Foraging Behavior）：麻雀在寻食时会选用距离较近且具备较高顺应度的食物源。在算法中，解空间中的每个集体被看作是一个食物源，具备顺应度评价值。麻雀经过选用顺应度较高的集体来寻觅更优的解。

(2). 迁移行为（Migration Behavior）：当麻雀在一个食物源周围搜查一段期间后，假设没有找到更优的解，它们会选用退出食物源，返回其余食物源继续寻觅。在算法中，集体之间的位置消息会出现变动，以模拟麻雀的迁移行为。

(3). 社交行为（Social Behavior）：麻雀在寻食时会经过与其余麻雀的交流来失掉更多的消息，从而提高自己的寻食效率。在算法中，集体之间经过替换消息来改善自身的解，并且降级解空间中的最优解。

3.2 基于Python的麻雀优化算法成功

3.3 麻雀优化算法-超参数寻优环节

麻雀优化算法具备便捷易成功、全局寻优才干和自顺应性等特点，实用于处置组合优化疑问。咱们经过麻雀优化算法来启动Informer-SENet模型的超参数寻优。

经过设置适合的种群规模和优化迭代次数，咱们在给定的超参数范畴内，搜查出最优的参数。

4基于Pytorch的SSA-Informer-SENet翻新诊断模型

4.1 定义SSA-Informer-SENet分类网络模型

4.2 设置参数，训练模型

50个epoch，准确率100%，SSA-Informer-SENet网络分类成果清楚，模型能够充沛提取轴承缺点信号的多尺度特色，收敛速度快，功能特意优越，。

4.3 模型评价

准确率、准确率、召回率、F1 Score

缺点十分类混杂矩阵：

其余成果展现

（1）模型训练可视化

（2）分类标签可视化

（3）原始数据 t-SNE特色可视化

（4）模型训练后的 t-SNE特色可视化：

本文转载自​​，作者：