热红外目标跟踪简介

less than 1 minute read

Published:

背景

热红外成像是一种被动式夜视技术,其通过接受物体的热辐射并将其转换成电信号而成像。热红外图像反映了物体表面的温度分布场。通常,波长为 3-8 um的中波红外与波长为 8-15 um 的长波红外被统称为热红外。近年来,随着非制冷型热红外成像技术的进步,热红外成像设备开始向小型化、高分辨率、平价化发展,越来越多的民用领域开始使用热红外成像设备。基于热红外图像的视觉智能处理技术,如目标识别、检测、跟踪等开始受到研究人员的关注。不同于可见光目标跟踪,热红外目标跟踪不受光照变化的影响。因此,其可被应用于夜间或是雨雾天气下的辅助驾驶,视频监控,海面救援等场景。

热红外目标跟踪面临的主要问题

与可见光目标跟踪的框架相同,热红外目标跟踪框架可以被划分成四大模块:特征提取,目标状态搜索,决策与模型更新,如下图所示。 然而,不同于可见光图像包含颜色与丰富的纹理特征,热红外图像没有颜色也缺乏丰富的纹理信息,如图 1-3所示。同时,受到成像设备工艺与红外图像压缩算法等的影响,热红外图像通常拥有较低的分辨率与信噪比、图像目标轮廓也较模糊。这些不利的因素造成现有的手工设计的特征与基于可见光图像训练的深度特征都难以有效的获取鉴别能力强的热红外表征。如图2-1所示,可以看到手工特征HOG与LBP对同类的热红外行人之间拥有的可区分性要明显的小于对同类的可见光目标。这导致使用这些特征模型的热红外跟踪方法容易漂移到相似的干扰物上。

热红外目标跟踪现状

热红外目标跟踪根据跟踪目标的大小与应用场景可以分为: 面向军事应用场 景的热红外弱小目标跟踪和面向民用场景的热红外通用目标跟踪。

热红外弱小目标主要包含两个特性: “弱”与“小”。其中,“弱”指的是图像目标信号弱,通常体现为图像目标的对比度与信噪比都很低。而“小”指的是跟踪的目标在图像上的面积很小,通常只包含几十个像素甚至几个像素,在图像上呈现为一个较亮的“光斑”。图 1-4 展示了热红外弱小目标跟踪中常见的几种跟踪场景与目标类型包括飞机、导弹、坦克等。热红外弱小目标跟踪主要应用于军事场景,如预警与制导等,因此要求跟踪目标的距离必须尽可能的远才能起到理想的效果。而远距离成像必然导致目标信号弱与尺寸小的问题。

受到热红外弱小目标“弱”与“小”性质的影响,跟踪的目标通常缺乏有效的轮廓、结构、和纹理等特征。利用已存的特征提取方法较难获得目标的鉴别性表征。因此,对表观建模的热红外弱小目标跟踪方法在跟踪过程中容易受到背景杂斑等的干扰。此外,热红外弱小目标跟踪过程中目标的信号与状态不稳定,利用固定模板的热红外弱小目标跟踪方法难以有效建模目标状态的变化导致容易发生跟踪的漂移。针对这些问题,大量的热红外弱小目标跟踪方法被提出。这些方法大致可以分为三类: 基于模板匹配的跟踪,基于粒子滤波的跟踪,和基于稀疏表示的跟踪。 与热红外弱小目标跟踪相比,热红外通用目标跟踪感兴趣的目标通常距离成像设备较近,因此目标在成像平面上有一个更大的目标尺寸。目标的轮廓,形状也都更加的清晰,如图 1-5 所示。针对不同应用场景热红外通用目标跟踪所感兴趣的目标类别不尽相同,如车载应用场景主要对车辆与行人感兴趣,监控应用场景则主要对行人和动物感兴趣等。不同于可见光下的通用目标跟踪感兴趣的目标可以是任意类别,热红外通用目标跟踪实际上感兴趣的目标通常只包含与背景有明显热辐射差异的物体,如人、动物、车、飞行器、船等。以下简称热红外通用目标跟踪为热红外目标跟踪。

受到热红外图像目标没有颜色、缺乏丰富的纹理、目标轮廓相对模糊等性质的影响,现有的针对可见光图像设计的特征模型难以有效提取热红外目标的高鉴别性特征表示。而热红外跟踪中同类目标通常拥有相似的视觉和语义特征。例如,身着不同颜色衣服且体型相当的两个行人,在热红外图像中的视觉效果极其相似,如图 1-5所示。这导致利用这些特征模型的热红外跟踪方法在跟踪过程中易受到同类目标的干扰而发生漂移。此外,热红外目标跟踪还面临着诸如热交叉、强度变化、背景杂斑、遮挡、尺度变化等挑战。针对不同的问题,研究者们提出了一系列的热红外目标跟踪方法。这些方法可被粗略的划分为两类: 基于传统机器学习的热红外目标跟踪和基于深度学习的热红外目标跟踪。

相关的工作可参考本人的博士论文《基于深度表征学习的热红外目标跟踪方法研究》中的绪论部分。 Paper

主要的热红外跟踪数据集

热红外目标跟踪常用的训练与评估数据集包含如下几个:

  • LSOTB-TIR [2]: 该数据集包含一个1280个热红外序列的训练数据集和一个120个序列的测试集,是当前热红外跟踪领域规模最大的数据集。Dataset
  • VOT-TIR2016 [3]: 包含25个热红外序列,仅用于测试。Dataset
  • PTB-TIR [4]: 包含60个热红外行人序列,仅用于测试。Dataset

热红外目标跟踪未来的研究方向

  • 学习热红外专有特征: 由于热红外图像拥有一些独特的属性,因此,学习热红外图像专有的特征模式对于提升热红外目标跟踪的性能至关重要。前期的研究发现学习热红外图像的细粒度特征对于识别相似干扰物至关重要。然而,如何学习热红外图像的细粒度特征有待更深入的研究。可能的方向包括:(1)利用Transfomer网络结构学习热红外图像的全局依赖关系;(2)利用迁移学习从可见光数据中获取有利于热红外跟踪的特征;(3)在更大规模的无标签热红外数据集上进行自监督学习,然后在已有标签的热红外数据集上微调。
  • 学习热红外先验信息: 先验信息通常通过在大规模数据集上离线学习而得到。如,Siamese系列方法学习的相似度匹配函数,ATOM系列方法学习的IOU-predictor等。尽管这些先验信息学习自可见光数据集,对热红外目标跟踪也有一定的作用。此外,热红外也包含一些独特的先验信息,如: 热红外目标与背景强度通常有显著的差异。因此,估计热红外图像的深度信息对处理遮挡问题应该有一定的帮助。由于热红外图像目标的强度很稳定,因此,在热红外视频序列中或许能获得更加准确的光流信息来辅助热红外目标跟踪。
  • Long-term 热红外跟踪: 相比于short-term的热红外跟踪,long-term的热红外跟踪更适合于实际应用。然而,当前的long-term跟踪中常用一些基于阈值设定的方法来重新初始化一个检测器,这种方式难以有效适应不同的应用场景。通过一个单独的模块或方法学习一个判断方法或许更加适用。此外,重检测通常在全图范围内搜索目标也很耗时。通过利用热红外图像前背景强度的差异的先验进行启发式的搜索能获得更快的效率。

主要的参考文献

[1] 刘乔,基于深度表征学习的热红外目标跟踪方法研究,博士学位论文,2021.

[2] Qiao Liu et al, LSOTB-TIR: a Large-scale High-diversity Thermal Infrared Object Tracking Benchmark, ACM MM, 2020.

[3] Felsberg M, et al. The Thermal Infrared Visual Object Tracking VOT-TIR2016 Challenge Results, ECCVW, 2016.

[4] Qiao Liu et al. PTB-TIR: a Thermal Infrared Pedestrian Tracking Benchmark, TMM, 2019.