学习记录——DSConv

chatgpt/2023/10/4 8:42:39

Dynamic Snake Convolution based on Topological Geometric Constraints for Tubular Structure Segmentation

ICCV 2023
用于管状结构分割的动态蛇形卷积

  仍存在一些复杂的领域,大模型还未能够很好的覆盖(也许只是时间问题)。例如伪装目标、非显著性目标,以及本文所关注的特殊管状结构(占比小、特征弱且分布广)等等。
  本文关注到管状结构细长连续的特点,并利用这一信息在神经网络以下三个阶段同时增强感知:特征提取、特征融合和损失约束。分别设计了动态蛇形卷积(Dynamic Snake Convolution),多视角特征融合策略与连续性拓扑约束损失。

  • 动机
      管状结构的精确提取仍然具有挑战:细长且脆弱的局部结构。如图 1 所示,细长的结构仅占整个图像的一小部分,像素的组成有限。此外,这些结构容易受到复杂背景的干扰,因此模型很难精确分辨目标的细微变化,从而导致分割出现破碎与断裂。
      受到Deformable Convolution[3]的启发,我们希望模型在学习特征的过程中,改变卷积核的形状,从而关注管状结构的核心结构特点。由此衍生出很多工作,并在视网膜血管的分割工作中得到了应用。然而在我们的初期实验中发现,由于管状结构所占比例较小,模型不可避免地失去对相应结构的感知,卷积核完全游离在目标以外。因此我们希望根据管状结构的特点来设计特定的网络结构,从而指导模型关注关键特征。

动态蛇形卷积核(Dynamic Snake Convolution, DSConv)

  可变形卷积:操控单个卷积核形变的所有偏置(offset),是在网络中一次性全部学到的,并且阅读其核心代码会发现,对于这一个偏置只有一个范围的约束,即感受野范围(extend)。控制所有的卷积发生形变,是依赖于整个网络最终的损失约束回传,这个变化过程是相当自由的。
  完全的自由,容易让模型丢失占比小的细小结构特征,这对于细长管状结构分割任务来说,是一个巨大挑战。因此,如图4所示,我们以蛇来举例,蛇的连续移动,是其头带动身体,一节一节如同波浪一般。因此,我们将连续性约束加入卷积核的设计中。每一个卷积位置都由其前一个位置作为基准,自由选择摆动方向,从而在自由选择的同时确保感受的连续性。
在这里插入图片描述
在这里插入图片描述

方法框架

在这里插入图片描述

多视角特征融合

在这里插入图片描述
  我们考虑到管状结构的走向与视角从来不是单一的,因此在设计中融合多视角特征也是必然的选择。然而,融合更多的特征带来的必然结果,就是更大的网络负载,且如此多的特征难免会出现冗余,因此我们在特征融合的训练过程中加入了分组与随机丢弃的策略,一定程度上缓解了网络内内存的压力并避免模型陷入过拟合。

基于持续同调的拓扑连续损失(TCLoss)

在这里插入图片描述
  我们的目标是构建数据的拓扑结构,并提取复杂管状结构中的高维关系,也就是持续同源性(Persistence Homology, PH)。基于 PH 所设计的拓扑损失函数也有很多优秀的工作 [6] [7] 已经采用,拓扑约束确实针对这类细长且占比小的结构非常有效,设计中所采用的推土机距离(Wasserstein Distance, WD)用来衡量点集的差异。简单描述,WD 用来衡量的是从一种离散分布,转变为另一种离散分布需要的代价。在 [6] [7] 的方法中,利用这一算法来计算点与点的最佳匹配,点集中的离散点会被匹配到对角线(刚出现就消失的点聚集在对角线上),因此这些离散的点不会参与损失函数的计算与约束。

  假设 PO 的上端存在着一个异常的离散点(横坐标表示出现的时间,纵坐标表示消失的时间),这表明存在一个构件直到最后才与其他构件获得连接从而消失。因此我们在本文中采用的是豪斯多夫距离(Hausdorff Distance, HD),HD 也是用于衡量点集相似度的一个重要算法,对离散点也非常敏感。

End

以上仅作个人学习记录使用

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.exyb.cn/news/show-5313693.html

如若内容造成侵权/违法违规/事实不符,请联系郑州代理记账网进行投诉反馈,一经查实,立即删除!

相关文章

mysql的整体架构

服务层-引擎层-硬盘层 一条语句执行的整体过程: 先建立连接(mysql -h -p 密码)–预处理-词法分析-语法分析-优化器选择用什么索引表如何连接等-执行器 到这里都是属于server层,大多数功能包括视图,存储过程,触发器都是…

树莓派微型 web 服务器——正式设计报告

树莓派微型web服务器 摘要 这篇博客介绍了一个基于树莓派的轻量级服务器项目。树莓派是一款低成本、小型化的单板计算机,具有较低的功耗和良好的可扩展性。该项目利用树莓派搭建了一个功能简洁但性能稳定的服务器环境,适用于小型应用或个人使用。该轻量…

【Linux】yum工具的认识及使用

【Linux】yum工具的认识及使用 1.知识点补充2.yum是什么3.yum常用指令3.1查看软件安装包3.1.1关于rzsz 3.2安装软件3.3卸载软件 4.yum扩展4.1扩展14.2扩展24.3扩展3 什么是工具? 本质上也是指令 1.知识点补充 1.我们一般安装软件,是不是需要把软件安装…

超详细 | 模拟退火算法及其MATLAB实现

模拟退火算法(simulated annealing,SA)是20世纪80年代初期发展起来的一种求解大规模组合优化问题的随机性方法。它以优化问题的求解与物理系统退火过程的相似性为基础,利用Metropolis算法并适当地控制温度的下降过程实现模拟退火,从而达到求解…

版本兼容问题——C++ 字符串库(std::basic_string::stoi)

软件开发过程中经常会存在版本更迭问题,对于如何做好版本之间的兼容性,相信也是八仙过海,各有神通。 那么,当我们确定了一个版本,怎么比较版本之间的差异呢? 且看如下代码: int CompareVersion(const std::string& strCurVersion, const std::string& strHis…

28_计算机网络(Computer Networks)基础

本篇介绍计算机网络的基础知识。 文章目录 1. 计算机网络历史2. 以太网" (Ethernet)2.1 以太网" (Ethernet)的简单形式及概念2.2 指数退避解决冲突问题2.3 利用交换机减少同一载体中设备2.4 互联网(The Internet)2.5 路由(routing)2.6 数据包…

【算法很美】多维数组和字符串篇打卡(第三天)

文章目录 子矩阵的最大累加和整体代码 矩阵运算-乘法整体代码 检测字符串是否有重复字符整体代码 反转字符串整体代码 变形词整体代码 替换字符串中的空格整体代码 子矩阵的最大累加和 整体代码 package 每日算法学习打卡.算法打卡.七月份.七月三十一号;import java.util.Arra…

JVM基础篇-线程运行诊断

JVM基础篇-线程运行诊断 CPU占用过多定位 用top定位哪个进程对cpu的占用过高ps H -eo pid,tid,%cpu | grep 进程id (用ps命令进一步定位是哪个线程引起的cpu占用过高)jstack 进程id 可以根据线程id 找到有问题的线程,进一步定位到问题代码的…
推荐文章