asp.net做购物网站,营销词汇100个,保定网站优化,潍坊市住房和城乡建设局网站下载眼底增强型疾病感知蒸馏模型 FDDM#xff1a;fundus 指导 OCT 分类 核心思想设计思路训练和推理 效果总结子问题: 疾病特定特征的提取与蒸馏子问题: 类间关系的理解与建模 核心思想
论文#xff1a;https://arxiv.org/pdf/2308.00291.pdf
代码#xff1a;https://github.c… 眼底增强型疾病感知蒸馏模型 FDDMfundus 指导 OCT 分类 核心思想设计思路训练和推理 效果总结子问题: 疾病特定特征的提取与蒸馏子问题: 类间关系的理解与建模 核心思想
论文https://arxiv.org/pdf/2308.00291.pdf
代码https://github.com/xmed-lab/FDDM 主要解决的是使用 OCT图像进行视网膜疾病分类 的问题。
OCT图像非常详细但它们收集起来成本高昂。
为了解决这个问题作者原本尝试用一种称为 多模态学习 的方法即同时利用OCT图像和眼底照片。
问题在于要找到同一个病人的这两种图像是相当困难的这在现实中几乎是不可能的。
那么研究者们是怎么解决这个问题的呢
他们提出了一种叫做 眼底增强型疾病感知蒸馏模型FDDM 的新方法。
这个方法的聪明之处在于它只用到了 未配对的眼底图像 来增强OCT图像的处理能力。
这就意味着即使我们没有同一个病人的两种图像我们也能提高诊断的准确性。
最关键的是这个模型采用了两种特别的技术叫做 类原型匹配 和 类相似性对齐。
就好像我们有一个专门学习眼底照片的“老师模型”然后这个模型会把它学到的关于疾病的知识传递给专门学习OCT图像的“学生模型”。
这样即使学生模型只看到OCT图像它也能利用从眼底图像中学到的信息来做出更好的判断。
如果眼底图像模型学会了识别一种特定的视网膜病变即使OCT图像呈现的角度或细节不同OCT 模型也能用这个知识来更准确地识别出类似的病变。
总之通过这种方式我们能在 没有成对数据 的情况下更有效地使用 OCT 图像进行视网膜疾病的分类。 三种不同的学习方法在视网膜疾病分类的应用中的差异 单模态学习 (Single-modal Learning) 在训练阶段只使用OCT图像。在测试阶段同样只使用OCT图像进行疾病的分类。 多模态学习 (Multi-modal Learning) 在训练阶段同时使用眼底照片和OCT图像。在测试阶段仍然需要同时使用这两种图像来进行分类。 蒸馏增强方法 (Proposed Distillation Enhancement Method) 在训练阶段使用眼底照片作为“教师”模型来增强OCT图像的“学生”模型。在测试阶段仅使用OCT图像进行分类不需要眼底照片。
关键点是使用蒸馏增强方法附加的模态即眼底照片只在训练过程中使用而在实际的推理或测试过程中则不需要。
这可以简化实际应用中的流程因为在测试阶段不需要收集额外的眼底照片降低了成本和复杂性。 设计思路
我们现在有一堆复杂的视网膜图像我们需要从这些图像中识别出各种不同的眼疾。
但这个任务有点像在一个嘈杂的房间里试图听到一个人的声音因为每张图像都有可能带有它自己的“噪声”也就是一些我们不需要的信息。
首先我们有类原型匹配这个技巧
问题是每个单独的图像都可能有自己的噪声这会干扰我们准确识别疾病。所以解法就是我们把所有同一种疾病的图像放在一起然后找到一个平均值这样就能代表这个疾病的一般特征而不是某个个别图像的特点。就好比我们从一大堆人的声音中找到一个平均的音调这样我们的模型就能更清楚地“听到”疾病的声音。
然后是类相似性对齐
这里的问题是有时候不同的疾病之间会有一些相互关系这对于诊断也很重要尤其是当一个病人可能同时有多种眼疾的时候。解法我们让模型学会识别这些疾病间的关系就像是教它们理解不同声音之间的和谐或不和谐。这帮助我们的模型更全面地理解每种疾病以及它们如何可能一起出现。
最后整个框架的目的是将这些知识结合起来
我们面临的问题我们需要一种方式来确保我们的模型能同时学习到如何识别疾病和它们之间的关系。所以作者用了一个综合的损失函数这是一个计算公式用来指导模型在训练时如何调整自己以便它能同时在两方面做得很好。
所以FDDM 就像是在给模型上了两门课程
类原型匹配 是基础课教模型如何识别每种疾病的基本特征。然后类相似性对齐 是高级课教模型理解不同疾病是如何相互联系的。而 整体框架 则确保模型能把这两门课学好最终能在真实世界中准确地诊断出视网膜疾病。这样做的好处是我们甚至不需要所有的图像都是成对的模型仍然能学到很多有用的信息。 训练和推理 在训练阶段
眼底图像通过眼底模型 ( F_t ) 处理而OCT图像通过OCT模型 ( F_s ) 处理。两个模型分别产生特征图这些特征图通过全局平均池化GAP层来减少维度。对于眼底图像特征 ( v_f )采用多层感知机MLP投影器进行处理并计算出类原型这是类原型匹配的一部分。同时OCT图像特征 ( v_o ) 经过Sigmoid激活后进入分类器。
在推理阶段
分别对眼底和OCT模型得出的特征进行类别均值计算得到类原型。对于OCT模型它还包括计算类别均值的logits ( q_s )并通过余弦相似度进行类相似性对齐。
类原型匹配的目的是将眼底模型中关于疾病的特定特征提炼到OCT模型中。
它通过计算每个类别的特征均值来建立一个“原型”这个原型代表了该类疾病的平均或典型特征。
类相似性对齐则是在推理阶段对OCT图像的类别关系进行调整以使其与眼底图像的类别关系保持一致。
这通过比较类别均值的logits的余弦相似性矩阵来实现促使OCT模型学习到不同疾病间的关系。
上图解展示了一个两阶段的过程其中利用眼底图像来增强OCT图像分类的能力而在实际应用时只需要使用OCT图像。
这个过程利用了深度学习包括特征提取、降维、非线性激活和分类器同时注重在两种不同模态之间转移和蒸馏知识。 效果
在实验中研究者面对的问题是确定新方法——基于类原型匹配和类相似性对齐的方法——在性能上是否优于现有的单模态、多模态和知识蒸馏方法。
为了解决这个问题他们采取了以下步骤 性能比较他们将新方法的性能与其他几种方法进行了比较。 这些方法包括仅使用OCT图像的单模态方法、同时使用OCT和眼底图像的多模态方法以及使用知识蒸馏技术的方法。 评估指标他们使用了准确性指标如平均精度(MAP)和F1分数来衡量每种方法的性能。 MAP是一种衡量模型对所有类别平均表现的指标而F1分数则是精确度和召回率的调和平均这两个都是多标签分类任务中常用的性能评估指标。 实验数据他们使用了新收集的数据集TOPCON-MM这个数据集包含了来自369只眼睛的成对的眼底和OCT图像以及另一个公开可用的多模态数据集MMC-AMD。
解决方案的目的是展示新方法在视网膜疾病多标签分类任务上的优越性。
通过与现有方法的直接比较研究者可以展示出以下几点
如果新方法在MAP和F1分数上都优于现有方法那么它就可以被认为在统计上是有效的。这种比较可以揭示新方法是否能更好地利用眼底图像中的信息来辅助OCT图像的分类即使眼底图像不是在所有情况下都可用或是质量较差的情况。通过在多个数据集上验证新方法可以证明其稳健性和广泛的适用性这对于临床实践中的应用尤其重要。 上图表展示了不同模型在视网膜疾病分类任务上的性能比较具体是通过平均精度MAP指标来衡量的。
在图(a)中我们看到了几种不同模型在 MMC-AMD 数据集上的MAP得分
“Fundus CNN” 表示仅使用眼底图像的卷积神经网络模型。“OCT CNN” 是仅使用OCT图像的卷积神经网络模型。“Two-Stream” 是一个多模态学习模型同时使用眼底和OCT图像。“FitNet” 可能是一种网络结构用于多模态学习或知识蒸馏。“KD” 代表知识蒸馏模型。“Ours” 是指提出的FDDM模型。
可以看到“Ours”即作者们提出的模型在MAP得分上优于其他所有模型达到了92.29%。
在图(b)中我们看到了模型从其他眼底数据集转移到TOPCON-MM数据集时的MAP得分
“OCT CNN” 表示的是基准OCT卷积神经网络模型。“Ours” 代表应用了提出的FDDM模型。
在两种不同的转移设置中
从 MMC-AMD 数据集转移到 TOPCON-MM 数据集。从 RFMiD 数据集转移到 TOPCON-MM 数据集。
在这两种情况下Ours模型的性能都优于仅使用OCT图像的卷积神经网络模型分别提高了4.26%和2.21%。
这些图表证实了提出的FDDM模型在处理多模态视网膜图像分类任务时无论是在单一数据集上还是从其他数据集转移学习时都能取得比现有技术更好的性能。 总结
FDDM 的逻辑关系可以拆解成两个主要的子问题。
子问题: 疾病特定特征的提取与蒸馏
问题: 如何确保OCT模型能够学习到疾病的核心特征而不是由于图像中的噪声或样本差异造成的误差解法: 类原型匹配CPM。为什么: 类原型匹配通过计算同一疾病类别内所有样本特征的平均值来生成代表性的特征向量即原型这样可以提炼出与个体样本噪声无关的疾病核心特征。目的: 这个解法使OCT模型能够集中学习对疾病诊断最重要的特征而忽略样本间的非疾病相关变异。
子问题: 类间关系的理解与建模
问题: 如何使OCT模型理解不同疾病类别之间的关系尤其是在多标签分类场景中这些关系可能包含对诊断有用的信息解法: 类相似性对齐CSA。为什么: 类相似性对齐通过比较不同疾病类别的特征表示之间的相似度从而使模型能够学习到疾病间的共现模式和关联性。目的: CSA的目的是使OCT模型能够在不仅识别单一疾病的同时也理解和识别疾病间可能存在的复杂关系这对于精确的疾病分类和诊断至关重要。
假设我们的OCT模型正在尝试学习识别黄斑变性这是一种常见的视网膜疾病。
每个患有黄斑变性的患者的OCT图像可能会因为机器的差异、扫描的角度、病情的严重程度等因素而有所不同因此这些图像可能包含很多个体特异性的噪声。
类原型匹配CPM就像是在找到所有黄斑变性图像的“共同语言”。
它把所有黄斑变性的图像特征取平均创建一个典型的黄斑变性特征向量这个向量捕获了与这个疾病相关的关键特征而忽略了每个单独图像中的个别差异。
因此OCT模型通过学习这个“共同语言”即类原型就能更准确地识别出黄斑变性而不会被单个图像中的噪声所干扰。 FDDM 类原型匹配 类相似性对齐
类原型匹配的目的是提供稳健的疾病特征表示以便模型能够更准确地识别每种疾病。类相似性对齐的目的是提高模型对不同疾病类别之间关系的理解这对于多疾病识别和诊断非常关键。
在很多情况下眼睛疾病并不是孤立发生的比如糖尿病视网膜病变DR和黄斑水肿DME经常一起出现。
类相似性对齐CSA的目标是帮助OCT模型捕捉到这些疾病间的联系。
例如如果模型在训练时发现当DR出现时DME的几率也增加那么在实际应用中当模型在一个图像中检测到DR的特征时它会考虑到DME的可能性即使DME的特征不是非常明显。
这种对类间关系的理解提高了模型在真实世界复杂病例中的准确性和可靠性。 归纳这两个子解法共同构成了FDDM的核心它们使得该模型能够在未配对的数据上进行训练并且在测试时不需要眼底图像大大提高了模型的实用性和效率。
通过这种方式FDDM能够在复杂的临床场景中提供更精确的疾病分类性能。
应用场景提高OCT图像的疾病分类性能
知识蒸馏即使你没有足够的OCT图像FDDM可以帮助你从现有的眼底图像中蒸馏疾病相关的信息以增强OCT图像分类器的性能。多模态学习如果你有成对的眼底和OCT图像FDDM能够提取这两种图像模式中的互补信息从而提高疾病分类的准确性。
