大盘点 | 2020年5篇图像分割算法最佳综述 - JOYK Joy of Geek, Geek News, Link all geek

大盘点 | 2020年5篇图像分割算法最佳综述

CV开发者都爱看的 3D视觉工坊 1/27

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨cynthia yawain编辑丨极市平台本文为极市平台原创整理，转载请联系极市小编。

导读

本文为我们对2020年全部计算机视觉综述论文分方向梳理第二篇，图像分割方向。内容包含2014-2020年图像分割算法、实时语义图像分割方法、语义分割中的无监督自适应研究以及语义分割损失函数等综述。

在过去的一年中，计算机视觉领域出现了许多优秀的工作，并推动了相关领域的技术发展与进步。去年上半年，极市曾盘点过计算机视觉领域综述论文，并进行了分类整理，得到了很多读者的支持。因此，在2021年初，我们对2020年出现的全部计算机视觉综述论文进行了分方向梳理，希望能帮助大家学习进步。上周，我们盘点了2020年目标检测算法综述，本文是第二篇，图像分割方向。注：文章将同步更新于Github上，欢迎大家 star/fork（点击阅读原文即可跳转）：https://github.com/extreme-assistant/survey-computer-vision

【1】使用深度学习进行图像分割：综述

标题：Image Segmentation Using Deep Learning: A Survey
作者：Shervin Minaee, Demetri Terzopoulos
链接：https://arxiv.org/abs/2001.05566

本文梳理了172篇相关文献。

最近，由于深度学习模型在各种视觉应用中的成功，已经有大量旨在利用深度学习模型开发图像分割方法的工作。本文提供了对文献的全面回顾，涵盖了语义和实例级分割的众多开创性作品，包括全卷积像素标记网络，编码器-解码器体系结构，多尺度以及基于金字塔的方法，递归网络，视觉注意模型和对抗环境中的生成模型。本文研究了这些深度学习模型的相似性，优势和挑战，研究了使用最广泛的数据集，报告了性能，并讨论了该领域有希望的未来研究方向。

2014年至2020年基于DL的2D图像分割算法的时间轴。橙色，绿色和黄色块分别表示语义，实例和全景分割算法。

DeepLabV3在样本图像上的分割结果。

U-net模型。蓝色框表示具有其指定形状的要素地图块。

DeepLabv3 +模型。

以mIoU和平均准确度（mAcc）表示，NYUD-v2和SUN-RGBD数据集上的分割模型的性能。

【2】 A Survey on Deep Learning Methods for Semantic Image Segmentation in Real-Time

标题：深度学习实时语义图像分割方法综述
作者：Georgios Takos
链接：https://arxiv.org/abs/2009.12942

本文共梳理了9篇相关文献。

语义图像分割是计算机视觉中增长最快的领域之一，具有多种应用程序。在许多领域，例如机器人技术和自动驾驶汽车，语义图像分割至关重要，因为语义分割为基于像素级别的场景理解提供了采取动作所需的必要上下文。此外，医学诊断和治疗的成功取决于对所考虑数据的极其准确的理解，并且语义图像分割是许多情况下的重要工具之一。深度学习的最新发展提供了许多工具来有效地解决这一问题，并且提高了准确性。这项工作对图像分割中的最新深度学习体系结构进行了全面分析，更重要的是，它提供了广泛的技术列表以实现快速推理和计算效率。

完全卷积网络架构：

DeconvNet体系结构：

比例感知语义图像分割架构：

Cityscapes像素级语义标签任务最佳表现模型：

Cityscapes像素级语义标签实时任务最佳表现模型：

【3】Unsupervised Domain Adaptation in Semantic Segmentation: a Review
标题：语义分割中的无监督自适应研究进展
作者：Marco Toldo, Pietro Zanuttigh
链接：https://arxiv.org/abs/2005.10876

本文共梳理了120篇相关文献。

本文的目的是概述用于语义分割的深度网络的无监督域自适应（UDA）的最新进展。这项任务引起了广泛的兴趣，因为语义分割模型需要大量的标记数据，而缺乏适合特定要求的数据是部署这些技术的主要限制。

最受欢迎的用于语义分割的UDA策略的维恩图。每种方法都属于代表使用的自适应技术的集合。

从分类（稀疏任务）到语义分割（密集任务）的一些样本图像上一些可能的视觉任务的概述。

可以在不同的空间执行域移位自适应：输入级别，功能级别和输出级别。

【4】A survey of loss functions for semantic segmentation
标题：语义分割损失函数综述
作者：Shruti Jadon
链接：https://arxiv.org/abs/2006.14822

本文共梳理了23篇相关文献。

本文总结了一些众所周知的损失函数，这些函数广泛用于图像分割，并列出了使用它们可以帮助快速，更好地收敛模型的情况。此外，本文还引入了新的log-cosh骰子损失函数，并将其在NBFS头骨分割开源数据集上的性能与广泛使用的损失函数进行了比较。本文还展示了某些损失函数在所有数据集上都能很好地发挥作用，并且在未知的数据分发方案中可以被视为很好的基准选择。

语义分割损失函数的类型

二元交叉熵损失函数图。在这里，熵在Y轴上定义，事件的概率在X轴上。

语义分割损失函数的附表。

【5】A Survey on Instance Segmentation: State of the art
标题：实例分割技术综述
作者：Abdul Mueed Hafiz, Ghulam Mohiuddin Bhat
链接：https://arxiv.org/abs/2007.00047

本文共梳理143篇相关文章，由克什米尔大学的学者发布。

目标检测或定位是从粗略到精细的数字图像推断的增量步骤。它不仅提供图像对象的类别，而且还提供已分类图像对象的位置。该位置以边界框或质心的形式给出。语义分割可通过预测输入图像中每个像素的标签来进行精细推断。每个像素根据其所在的对象类别进行标记。为进一步发展，实例分割为属于同一类的对象的单独实例提供了不同的标签。因此，实例分割可以被定义为同时解决对象检测和语义分割问题的技术。在这份关于实例分割的调查论文中，讨论了实例分割的背景，问题，技术，演变，流行的数据集，相关技术以及最新范围。本文为那些希望在实例分割领域进行研究的人提供了宝贵的信息。

对象识别的演变：从粗略推断到细粒度推断：（a）图像分类，（b）对象检测或定位，（c）实例分割，（d）语义分割。