其他数据论文 I 区论文(评审中) 版本 ZH2
下载
复杂背景下红外弱小运动目标检测数据集
A dataset for small infrared moving target detection under clutter background
 >>
: 2021 - 02 - 07
: 2021 - 04 - 25
: 2021 - 04 - 25
500 0 0
摘要&关键词
摘要:红外弱小运动目标检测是空中红外探测的核心技术之一,且一直是光电探测领域研究的热点问题,尤其是复杂背景下弱小运动目标检测,尚缺乏有效的技术解决途径。针对当前红外弱小运动目标检测领域数据规模小、场景类型丰富程度不足的问题,本数据集面向空中红外探测设备远距离探测空中飞行目标应用,借助于小型无人机平台搭载红外探测设备,通过实地拍摄、数据加工及仿真目标嵌入处理等,提供了一套数据规模大、场景类型丰富的复杂背景下红外弱小运动目标检测半仿真数据集。图像数据采集中设置多种实验条件,以求尽可能地全方位模拟典型应用场景:为体现探测平台与目标的相对高度,设置了仰视、平视和俯视三种拍摄视角;为模拟不同场景类型,数据集获取场景涵盖了天空、水面、植被、建筑物等多种场景;为模拟被探测目标不同运动情况,数据集中采用分段拟合的方式,设置了不同复杂程度的目标运动轨迹;本数据集仿真了不同灰度分布、不同信号强度的弱小运动目标,并高质量地嵌入图像背景中。本数据集共计350段数据、150185帧图像,标注文件中给出目标坐标位置的详细标注信息。本数据集可为复杂背景下红外弱小运动目标检测、跟踪等研究提供基础数据。
关键词:红外弱小运动目标;空中探测平台;复杂背景;目标检测;序列图像
Abstract & Keywords
Abstract: Small infrared moving target detection is one of the key technologies of infrared detection. And it has always been a hot issue in photoelectric detection, especially for small infrared moving target under clutter background. The problem has not yet been solved. In view of the lack of high quality data in current research, we adopt infrared imaging equipment installed on a small UAV platform to capture image sequences as backgrounds. The synthetic targets are embedded in backgrounds properly. We build a semi-synthetic dataset for small infrared moving target detection under clutter background. Various conditions are set in image capturing, including relative height (up looking, head up looking and down looking), scenes (vegetation, water and building), platform motion, weather, time, etc. The imaging platform motion and the synthetic target motion are considered simultaneously to guarantee that the semi-synthetic image sequences as close as possible to the real application scenario. In addition, we vary the target characteristics in synthetizing, including shape, intensity, and motion. Our dataset contains 350 image sequences, 150,185 images. The annotation file provided the targets positions in images. The dataset can be used in small infrared moving target detection and tracking researches.
Keywords: small infrared moving target; airborne detection platform;  clutter background; target detection; image sequence
数据库(集)基本信息简介
数据库(集)名称复杂背景下红外弱小运动目标检测数据集
数据作者孙晓亮,郭良超,张文龙,王梓,侯艳杰,李璋,滕锡超
数据通信作者孙晓亮(alexander_sxl@nudt.edu.cn)
数据时间范围2020–2021年
地理区域中国
数据量24.6GB
数据格式*.png,*.json
数据服务系统网址http://www.dx.doi.org/10.11922/sciencedb.j00001.00231
基金项目国家自然科学基金(62003357);湖南省自然科学基金(2019JJ50732)。
数据集组成本数据集包含350个图像序列、150185张图像,每个序列对应一个文件夹,文件夹依次命名(训练集和测试集各150个图像系列),文件夹中包含图像序列文件(*.png),标注文件中包括图像序列编号及每一帧图像对应的目标数及目标位置坐标真值。
Dataset Profile
TitleA dataset for small infrared moving target detection under clutter background
Data corresponding authorSUN Xiaoliang (alexander_sxl@nudt.edu.cn)
Data authorsSUN Xiaoliang, GUO Liangchao, ZHANG Wenlong, WANG Zi, HOU Yanjie, LI Zhagn, TENG Xichao
Time range2020 – 2021
Geographical scopeChina
Data volume~24.6GB
Data format*.png,*.json
Data service system<http://www.dx.doi.org/10.11922/sciencedb.j00001.00231>
Sources of fundingNational Natural Science Foundation of China (62003357Hunan Provincial Natural Science Foundation of China (2019JJ50732).
Dataset compositionThe dataset contains 350 image sequences, 150,185 images. A folder is built for each image sequence. The folders are numbered successively (The training and testing subset each contains 150 image sequences). Images are in PNG format and annotation files are in format. Target positions are provided in the annotation files.
引 言
红外探测基于目标的热辐射特性进行被动成像,再利用图像处理、分析等手段检测目标,已广泛应用于空中平台预警、制导引导等。相比于雷达探测,红外探测具有不易被发现,可以探测到电磁隐身设备,体积小、机动性强、配置方便,分辨率高等优势;相比于可见光探测,红外探测具有全天候工作,受天气、光照、雾霾等因素影响小,识别伪装目标的能力强,探测距离远等优点[1-2]。鉴于此,红外探测设备已成为当前飞机、导弹等空中平台光电探测系统的核心载荷之一。
随着现代战争对抗程度的加剧,空中探测平台对红外目标检测提出了更高的要求,主要体现在以下4个方面[3-4]
(1) 探测距离远。为实现先敌发现,要求红外探测设备尽可能远距离地实现目标探测。探测距离越远,则获取的图像数据中目标信号越为弱小,甚至仅占数个像素,极易淹没在复杂背景中,给可靠目标检测带来较大挑战。
(2) 被探测目标运动形式多样。本数据集关注的目标对象为飞机、导弹等空中飞行平台。随着装备性能的提升,其机动能力得到大幅改善,体现在序列图像数据上,目标运动轨迹复杂多变,加大了目标检测的难度。
(3) 背景复杂。在实际应用中,目标所处的场景复杂多变,尤其是下视探测应用中,背景多为植被、建筑物等,更为杂乱;且由于探测平台运动,复杂背景快速移入移除,给可靠目标检测带来极大干扰。
(4) 多目标检测需求日益迫切。集群化作战系统应用的推广给红外探测平台提出了多目标检测的需求,目标之间存在相互干扰,可靠的多目标检测难度较大。
针对复杂背景下红外弱小运动目标的可靠检测,尚缺乏有效的技术解决途径,亟需开展相关研究。但鉴于**应用背景,当前科研领域中缺乏复杂背景下红外弱小运动目标检测研究需求的图像数据集。回丙伟等[5]面向低空飞行弱小飞机目标检测跟踪应用,构建了地/空背景下红外图像弱小飞机目标检测跟踪数据集,但数据集在规模、背景类型、目标运动形式等方面仍有待进一步完善。本数据集针对复杂背景下红外弱小运动目标检测技术研究需求,通过数据集构建方案设计、图像数据采集、数据加工与处理等步骤,构建覆盖范围广、贴近实际应用场景的高质量数据集。
本数据集已在全网公开发布,研究人员在门户网站(https://small-infrared-aerial-target-detection.grand-challenge.org/)注册后即可下载数据集,并可上传数据集测试集部分目标检测结果,评估检测结果,并查看评分及实时排名。也可直接登录Science Data Bank(http://www.dx.doi.org/10.11922/sciencedb.j00001.00231)下载数据。
1   数据采集和处理方法
1.1   数据集构建方案设计
本数据集针对的应用场景为空中飞行平台搭载的红外探测设备对飞行的飞机、导弹等目标的探测,是典型的动平台对动目标的探测应用。数据获取实验中,至少需要两个飞行平台模拟探测过程。对于多目标情形,需要更多飞行平台,且飞行平台间需相互配合,以保证被探测目标出现在红外探测设备视场中。但在实际实施过程中,受限于红外成像设备视场、探测平台或目标机动运动等,极易运动出成像视场,致使无法获得有效图像数据。因此,若采用真实多飞行平台开展数据采集实验,需要约束平台间相对运动,实施难度较大,致使无法高保真还原真实战场环境中红外弱小运动目标探测应用场景。
鉴于上述分析,本数据集构建中采用半仿真实现方式,即在真实飞行平台上搭载红外成像设备,通过设置不同的数据采集条件,获取真实的红外图像数据,进一步,将此真实图像数据作为背景,人为嵌入弱小运动目标(具体目标添加方式参见第1.3.2节),得到半仿真红外弱小运动目标图像数据。采用半仿真构建方式,一方面可以避免高难度的平台间协同飞行,另一方面可方便控制仿真弱小运动目标的运动轨迹、灰度分布、强度等特性,得到模拟多种应用场景的图像序列数据。
数据集构建中主要包含图像数据采集、数据加工与处理两个主要环节:
(1) 图像数据采集。借助小型无人飞行平台及红外成像设备,通过设置不同的图像采集条件,获取类型丰富的复杂场景图像数据。
(2) 数据加工与处理。对获取的背景图像数据进行格式转换、筛选、切割等处理,选出覆盖多种场景类型的背景图像数据片段,借助于特征匹配、模型求解等,建立序列图像中相邻帧之间几何变换模型,进而将仿真弱小运动目标合理地嵌入到序列图像中,得到半仿真复杂背景下红外弱小运动目标数据集。
1.2   数据采集方法
图像数据采集部分涉及的设备主要有小型无人机平台及红外成像设备,如图1所示,其基本性能参数如表1、表2所示。




图1   小型无人机平台及红外成像设备
表1   小型无人机平台基本性能参数
指标项性能参数
尺寸810×670×430 mm(长×宽×高)
重量6.3 kg
最大俯仰角度30°
最大飞行时间55 min
最大飞行速度23 m/s
最大飞行高度7000 m
工作环境温度−20℃~50℃
表2   红外成像设备基本性能参数
指标项性能参数
热成像传感器类型非制冷氧化钒微测热辐射计
镜头参数DFOV:40.6°焦距:13.5 mm (等效焦距:58 mm)光圈:f/1.0
对焦距离5 m至无穷远
波段范围8~14 μm
灵敏度(NETD)≤50mK @ f/1.0
分辨率640×512像素
拍摄帧频30 Hz
工作温度−20℃~50℃
数据采集过程中,参照空中红外平台探测空中飞行目标典型应用场景,通过云台控制红外成像设备拍摄视线朝向。同时在不同的背景场景、天时及天候、飞行高度、飞行速度等条件下进行拍摄,获得多种成像条件的图像数据,主要成像条件设置如表3所示。
表3   主要成像条件设置
条件项设置
视线朝向仰视、平视、俯视
拍摄天时全天时
拍摄天候晴天、多云天气
飞行速度范围5−23 m/s
飞行高度范围50−500 m
地面场景类型植被、水域、建筑物
1.3   数据加工与处理
数据加工与处理环节对采集到的红外图像数据进行格式转换、筛选、切割等处理,剔除不满足要求的图像,进一步嵌入仿真弱小运动目标,得到半仿真复杂背景下红外弱小运动目标图像数据集。
1.3.1   数据预处理
红外成像设备采集的图像数据为MP4格式视频数据,在预处理阶段将视频格式数据转换为位深度为8 bit的png格式的序列图像数据,剔除由于飞行平台姿态调整等因素引起的变形图像等无效数据。而对图像序列进行切割,充分考虑当前红外弱小运动目标检测算法研究现状及发展趋势,并结合图像序列中场景变化特性,本数据集设置图像数据段长度为300–1000帧,同时兼顾弱小运动目标检测算法对时序信息的需求,以及对算法连续检测能力考查的需求。
1.3.2   半仿真图像数据生成
在获取适宜长度的图像数据段后,人工嵌入弱小运动目标,构建半仿真红外弱小运动目标图像序列。为保证生成的半仿真数据与真实红外弱小目标图像数据特性尽可能一致,在弱小目标嵌入过程中,应充分考虑成像平台运动引起的视场中场景变化、被探测目标自身运动及目标灰度分布等。
(1)真实红外弱小运动目标图像序列特性分析
为保证半仿真红外弱小运动目标图像数据的质量,聚焦空中红外探测设备远距离探测应用,基于对已搜集到的真实红外弱小运动目标图像数据进行分析。因为本数据集中背景为真实拍摄图像,这里仅关注目标特性,对红外弱小运动目标特性作如下总结:
① 目标在图像中表现为点目标。在远距离探测条件,目标在图像中成像尺寸较小,呈现为点目标。图2中给出了两段复杂背景下红外弱小运动目标图像序列中部分图像示例,目标由矩形框标识,且局部放大置于右上角,研究人员多用高斯分布近似红外弱小目标灰度分布[6-7]


图2   复杂背景下红外弱小运动目标图像示例
② 目标成像运动为目标自身运动与探测平台运动的复合。本数据集关注的探测对象为空中飞行的飞机、导弹等目标,其运动独立于背景,图像中背景的运动由探测平台运动引起,目标成像在图像中的运动为目标自身运动与平台运动的复合。
③ 目标轨迹连续,在短时间间隔内相对平滑。本数据集关注的目标对象为空中飞行的飞机、导弹等目标,依据基本运动规律,目标对应的轨迹具有连续,且在短时间间隔内,可用低阶次曲线近似(如1次、2次曲线等)。图3所示为两组真实红外弱小运动目标图像序列(序列长度分别为399帧、499帧),通过帧间匹配、图像差分后,基于帧间几何变换模型变换到同一坐标系下叠加的结果(对于目标成像,即相当于消除探测平台运动,仅保留目标自身运动),帧间差分结果中包含真实目标及噪声。从叠加图中可以看出,噪声点分布相对杂乱,真实目标点构成了连续轨迹,且轨迹较为平滑。


图3   图像序列段候选目标叠加结果
④ 在短时间间隔内,目标强度变化对应探测距离变化。红外图像中目标对应像素灰度值对应目标热辐射强弱,红外成像设备捕获到的目标信号强度依赖于目标与探测平台间距离、目标温度等,在短时间间隔内,目标自身温度变化较小。图像中目标信号强弱变化主要取决于目标与探测平台间距离变化,距离变大,目标信号变弱,反之则变强。
(2)红外弱小运动目标嵌入
如上一部分分析,目标运动轨迹平滑、强度恒定等特性假设成立的条件是在相对短时间间隔内。鉴于此,本数据集将长图像序列分割为多个一定长度的数据段,对于每一数据段,嵌入仿真红外弱小运动目标,最后再拼接各数据段,得到完整图像序列数据。本数据重点针对红外弱小运动目标灰度分布、运动轨迹、强度特性等,设计红外弱小运动目标嵌入方法,以保证获取的半仿真红外弱小运动目标图像数据与真实应用场景图像数据特性保持一致。对于目标灰度分布,本数据集采用不同形状、方差的高斯分布模拟不同尺度弱小目标;对于目标轨迹连续、局部平滑特性,本数据集采用分段曲线逼近的方式予以保证;对于目标强度变化特性,本数据集通过建立仿真轨迹的远近变化与强度变化对应关系予以实现。具体实施方法如图4所示。


图4   红外弱小运动目标嵌入
① 帧间运动估计
帧间运动估计即通过采集到的图像序列中帧间背景的运动,反向估计出探测平台在帧间的运动情况。如前所述,弱小运动目标成像在图像序列中的运动为探测平台运动与目标自身运动复合的结果,通过帧间运动估计出探测平台的运动,为后续目标嵌入奠定基础。本数据集采用SURF特征点[8],通过特征点检测与匹配,建立帧间特征点对应关系,并采用单应变换模型建模帧间运动。基于SURF特征点对,求解帧间单应变换矩阵。
② 坐标系变换
基于帧间运动估计,将图像序列段中图像变换到同一坐标系下(本数据集选择图像序列段中首帧图像的图像坐标系),基于变换后的结果,可确定序列段中所有图像覆盖的区域,如图5(a)中灰色区域所示。考虑到帧间配准误差等因素致使帧间运动估计不准,为降低帧间运动估计误差对后续目标嵌入的影响,本数据集对待嵌入目标图像序列进行分段,在相对短的时间间隔内,可近似地忽略帧间配准误差等因素,依据实际场景中目标运动基本规律,可假设目标运动轨迹平滑,并采用低阶次曲线近似目标运动轨迹。




图5   图像序列覆盖区域及目标运动轨迹设定示意
(a) 图像序列覆盖区域 (b)目标运动轨迹设定
③ 设定目标运动轨迹
如前所述,本数据集对嵌入目标图像序列进行分段处理。针对每一段数据,在所确定图像覆盖区域中,采用低阶次曲线近似目标运动轨迹。本数据集中随机采用1次或2次曲线近似目标运动轨迹,图5(b)中黑色实线为2次曲线示例。具体实现中,通过在图像覆盖区域中设置控制点,进而采用1次或2次曲线拟合目标运动轨迹,得到仿真目标运动轨迹。
④ 轨迹离散采样
依据每一段数据段中帧数,对步骤3中得到的仿真目标运动轨迹进行离散处理,得到与图像帧对应的轨迹离散点,作为每一帧中图像目标的位置。本数据集假设在此相对短的时间间隔内,目标运动速度大小恒定,即帧间目标轨迹长度相等。因此,本数据集对仿真目标轨迹进行等长度间隔离散采样,得到离散轨迹点,如图6所示。“×”表示离散轨迹点,l为帧间目标轨迹对应曲线的长度。具体实施中,依据采样点数,将仿真目标轨迹等间距划分,确定l


图6   目标仿真轨迹离散示意图
⑤ 离散轨迹点反变换
步骤4中得到了离散目标轨迹采样点,该采样点对应的坐标是在数据段首帧图像坐标系下。如前所述,目标成像在各图像中的位置是探测平台运动与目标自身运动复合的结果。依据前述求得的帧间运动估计,将离散轨迹点坐标反变换到各帧图像坐标系中,如公式(1)所示。
 
(1)
式中为离散轨迹点坐标,为帧间单应变换矩阵,反变换后目标坐标为
⑥ 自适应权重加权融合
本数据集关注空中红外探测平台对空中飞行目标远距离探测应用场景,目标在图像中呈现为点目标,参考已有相关研究工作[6-7],本数据集将目标灰度分布建模为高斯分布,为仿真不同特性的目标,设置了不同尺寸、灰度分布方差的仿真目标。本数据集包含的目标尺寸与分布方差之间的对应关系如表4所示,目标灰度三维分布如图7所示,对于3×5、3×7及5×7三种各向不同性目标,在仿真过程中,对于各向不同性目标,本数据集在[0°, 180°)范围内随机选择旋转角度,模拟目标不同朝向。另外,在仿真中,本数据集还设置目标灰度值渐变增大或减小的情况,以模拟目标接近或远离探测平台的情况。
表4   本数据集包含的目标尺寸与分布方差
目标尺寸(x×y像素)方差
3×3像素x:0.33, y:0.33
3×5像素x:0.33, y:0.67
5×5像素x:0.67, y:0.67
3×7像素x:0.33, y:1
5×7像素x:0.67, y:1
7×7像素x:1, y:1


图7   目标灰度分布三维显示
为保证目标平滑地嵌入图像中,利用目标灰度分布符合高斯分布的特性,本数据集采用自适应权重的加权融合策略[9],将仿真目标高质量嵌入到背景图像中。以当前帧图像对应的离散轨迹采样点为中心,取出与仿真目标尺寸相同的背景图像块,如公式(2)所示,进行自适应权重加权融合。
 
(2)
式中分别为处像素灰度值, 为嵌入后处像素灰度值,嵌入示例如图8所示,自适应权重加权融合消除了嵌入边界痕迹。


图8   自适应权重加权融合示意
基于上述步骤,针对每一数据段,可保证嵌入运动轨迹、灰度分布等特性均高度符合实际情况的红外弱小运动目标,得到高质量的半仿真复杂背景下红外弱小目标图像序列。上述处理步骤中,本数据集设置数据段长度为100帧。对于待嵌入仿真目标的图像序列,以100帧为长度间隔进行分割,每一数据段采用上述处理步骤嵌入仿真目标,最后将各数据段拼接得到完整半仿真红外弱小运动目标图像序列。为保证段与段之间目标轨迹平滑连接,在仿真目标嵌入过程中,设置后一数据段轨迹起点为上一数据段轨迹的终点,即保证前一序列段与后一序列段存在一帧图像的重叠。同时,各向外扩展一个采样轨迹点,进行均值平滑处理,以保证轨迹在连接处平滑。
仿真红外弱小运动目标嵌入过程中,通过设置不同的轨迹曲线阶次、目标个数、目标灰度分布、目标灰度强弱等仿真设置,可获得覆盖多种情况的半仿真复杂背景下红外弱小运动目标图像序列数据。本数据集的主要仿真设置如表5所示。
表5   本数据集主要仿真项设置
条件项设置
局部目标运动轨迹曲线阶次1次/2次
目标个数1个/2个/3个
目标灰度分布见表4
目标灰度强度变化范围(对应8bit位深度)50–250
仿真红外弱小运动目标具有一定的空间尺寸,参照红外弱小运动目标检测领域广泛采用的目标位置标注方法,本数据集将目标区域中位置作为目标位置真值,即上述反变换后记录的离散轨迹点坐标为数据集中目标位置真值。
2   数据样本描述
本数据集共包含350段图像序列,如表6所示,具体为单目标150段、双目标100段及三目标100段。每个目标数目类别又包含仰视、平视、俯视植被、俯视水面及俯视建筑物共5种类型背景。每段图像序列对应一个文件夹,训练集与测试集中包含的图像序列对应文件夹依次编号命名,编号范围为[1, 175]。文件夹中包含序列图像数据,训练集和测试集分别对应一个JOSN格式标注文件。
表6   数据集组成
场景类别仰视平视下视
植被水域建筑
目标数目类别123123123123123
图像序列数目302020302020302020302020302020
训练集中图像序列编号1
-15
16
-25
26
-35
36
-50
51
-60
61
-70
71
-85
86
-90
91
-100
101
-115
116
-125
126
-135
136
-150
151
-160
161
-175
训练集中图像序列编号1
-15
16
-25
26
-35
36
-50
51
-60
61
-70
71
-85
86
-90
91
-100
101
-115
116
-125
126
-135
136
-150
151
-160
161
-175
2.1   序列图像数据
本数据集中红外图像分辨率为640×512像素,位深度为8 bit,图像以png格式存储,图像序列中图像帧按顺序依次编号,即对于总帧数为N+1的图像序列,图像帧命名从0.png依次递增至N.png。图9给出了3种目标数目类别每一种场景下的样本图像示例。
图9   样本图像示例
2.2   标注数据文件
标注数据文件中存储目标位置真值,格式为json。json文件为对象(object)集合,每个对象包含如下4个“名称/值”对,名称如下:
➢ sequence_ID
➢ frame
➢ num_objects
➢ object_coords
分别对序列编号、帧编号、当前帧中目标数目与具体目标坐标值。图10给出结构示例,示例中对象对应第12个图像序列中第2帧图像中目标信息,该帧图像中共包含3个目标,对象中给出了目标位置真值。


图10   标注文件对象结构示例
对于不包含目标的图像帧,对应对象中“num_objects”为“0”、“object_coords”为“[]”。格式相关说明如下:
(1) 标注文件中所有数字均为阿拉伯数字。
(2) 标注文件中图像帧编号从0开始,与图像帧命名一致。
(3) 目标位置真值对应x、y坐标值,均为浮点型,对应图像坐标系,即原点位于图像帧左上角点,起始点坐标为(0,0),水平向右为x轴正向、竖直向下为y轴正向,x、y坐标对应范围为[0,640)、[0,512)。
本数据集数据段中包含的目标数量作为数据段类别第二级划分依据。在数据生成过程中,为贴近真实应用场景,目标存在出、入视场的情形,特作说明如下:单目标情况即半仿真图像生成中仅仿真一个目标,图像帧中目标数目≤1;双目标情况,即仿真两个目标,图像帧中目标数目≤2;三目标情况,即仿真三个目标,图像帧中目标数目≤3。
3   数据质量控制和评估
3.1   数据质量控制
为构建覆盖场景类型范围广、数据集规模大、贴近真实应用场景的复杂背景下红外弱小运动目标检测数据集,本数据集采用半仿真方式生成图像序列,其中背景图像数据均通过小型无人机平台搭载红外探测设备实地拍摄获得,通过合理设置拍摄视线方向及场景类型,获得了共5种典型场景的图像序数据,图像中场景环境对应的辐射特性等真实可靠。
对于仿真红外弱小运动目标的嵌入,如1.3.2节所述,本数据集是在对已有真实红外弱小运动目标图像序列数据分析的基础上,总结出红外弱小运动目标运动、灰度外观分布等特性,进一步通过合理设计1.3.2节阐述的目标嵌入步骤,以保证仿真红外弱小运动目标被合理地嵌入背景图像数据,生成贴近真实应用场景下获取的复杂背景下红外弱小运动目标图像序列的高质量半仿真图像数据,满足复杂背景下红外弱小运动目标检测算法研究、测试等需求。
3.2   同类数据集比较
回丙伟等[5]于2019年发布地/空背景下红外图像弱小飞机目标检测数据集,依据文献调研结果,该数据集是当前唯一与本数据集相近的公开发布数据集,该数据集以真实飞机目标为探测对象,获取真实红外弱小目标图像序列数据,进而构建数据集。该数据集包含22段图像序列数据,数据集规模不大,且受限于实际实验条件等限制,目标运动轨迹类型、背景丰富程度等有待进一步提升。表7给出了本数据集与地/空背景下红外图像弱小飞机目标检测数据集的详细对比情况。
表7   本数据集与地/空背景红外图像弱小飞机目标检测数据集对比
比较项本数据集地/空背景红外图像弱小飞机目标检测数据集
数据集侧重空中红外探测平台对空中飞行目标远距离探测应用固定观测平台对低空飞行的弱小飞机目标检测跟踪应用
数据集规模350段数据、150185帧22段数据、16177帧图像
涵盖场景类型仰视、平视、俯视植被、俯视水面、俯视建筑物(每种场景类型包含多段图像序列,涵盖多种目标运动轨迹等)22个典型场景(单目标天空背景、双目标交叉飞行天空背景、单目标地面复杂背景、目标由远及近、目标由近及远、目标离开视场等)
目标外观点目标点目标、扩展目标
背景运动特性空中红外探测平台实地采集,背景运动特性符合空中红外探测平台应用场景,可复现真实应用中背景特性高塔架设红外成像设备拍摄,为地面固定位置观测平台对目标探测
数据集发布包含训练集与测试集,训练集中图像序列数据与标注文件一同发布,测试集仅发布图像序列数据数据集完整发布(含完整标注结果)
如表7中所述,本数据聚焦空中红外探测平台对空中飞行目标远距离探测应用,图像中目标为点目标,本数据集在规模上大于[5],包含场景类型、目标运动轨迹等丰富程度优于[5],另外,本数据集将红外探测平台搭载在小型无人机平台上拍摄图像序列,并高质量地嵌入弱小运动目标。相比于[5],本数据集的图像序列更为贴近空中红外探测平台对空中飞行目标的远距离探测应用场景。
4   数据价值
本数据集针对空中红外探测平台对空中飞行目标远距离探测应用,通过合理设计方案,构建了共计350段图像数据、150185帧图像及详细标注的大规模数据集。从包含目标数目角度,包含了单目标、双目标和三目标的情况;从背景类型的角度,涵盖了仰视、平视、俯视植被、俯视水面、俯视建筑物5中典型场景。另外,数据集中还包含了多种目标运动轨迹类型、目标信号强度变换等。本数据集在目前所调研到的同类型公开发布的数据集中是数据规模最大、涵盖情形最为广泛的数据集,包含的图像数据类型涵盖了当前复杂背景下红外弱小运动目标检测研究中的主要难点问题[10]
(1) 复杂背景干扰下红外弱小运动目标检测;
(2) 目标运动形式、复杂多变条件下红外弱小运动目标检测。
为满足红外弱小运动目标检测算法测试评估需求,综合目标检测率与虚警率,本数据集采用红外弱小目标检测领域广泛采用的[11] 评价准则评估算法性能,并公布测试代码。本数据集的发布,为复杂背景下红外弱小运动目标检测研究提供了丰富的数据测试对象,对于加速相关研究进程、提升算法研究水平、促进理论研究成果工程化应用等,具有重要意义。
5   数据使用方法和建议
5.1   数据集发布
为激发广大研究人员研究热情,促进相互交流,本数据集参照目标检测、跟踪等领域的做法,采用在线评估、实时排名的数据集发布方式。本数据集将每一类型图像序列数据均分为两部分,即分别包含175段图像序列,设置训练集与测试集,数据集在全网公开发布,训练集中图像序列数据与标注文件一同发布,测试集仅公开发布图像序列数据。
5.2   数据集使用方法
本数据集使用方法简单,研究人员从数据网站上下载本数据集,遵循如下基本步骤使用本数据集:
(1) 读取数据段中数据,运行红外弱小运动目标检测算法,完成目标检测任务;
(2) 按照2.2节中约定的标注文件格式,将目标检测结果保存;
(3) 将测试集中图像序列对应结果文件上传至数据网站,提交检测结果,网站后台运行测试评估代码,给出得分并更新实时排名。
5.3   评价准则
参考红外弱小运动目标检测领域研究工作,综合红外弱小运动目标检测准确率与虚警率,本数据集选用当前被广泛采用的评价准则对算法检测性能进行评估,如公式(3)所示。
 
(3)
式中TPFP、及FN分别对应正确检测目标、误检目标及漏检目标。检测目标距真实目标距离小于阈值 τ 即认为该目标为真确检测目标,本数据集中设置 τ =10像素。
致 谢
在数据集采集、整理、评审和发布等过程中,得到了课题组多位老师和学生的等的指导与帮助,在此表示衷心的感谢。
[1]
袁洪,马润赓. 从幼畜空地导弹看红外成像制导技术发展[J]. 飞航导弹, 2007, 3: 6–8.
[2]
吴建东,杨俊彦,宋敏敏. 红外成像制导技术发展展望[J]. 红外. 2016, 8(37): 1-6.
[3]
陈钱. 红外目标探测[M]. 北京: 电子工业出版社, 2016.
[4]
汪大宝. 复杂背景下的红外弱小目标检测与跟踪技术研究[D]. 西安: 西安电子科技大学, 2010.
[5]
回丙伟,宋志勇,范红旗,等. 地空背景下红外图像弱小飞机目标检测跟踪数据集[J/OL]. 中国科学数据. 2020, 5(3). DOI: 10.11922/csdata.2019.0074.zh.
[6]
KIM S, LEE J. Scale invariant small target detection by optimizing signal-to-clutter ratio in heterogeneous background for infrared search and track[J]. Pattern Recognition, 2012, 45(1): 393-406.
[7]
ZHANG H, ZHANG L, YUAN D, et al. Infrared Small Target Detection Based on Local Intensity and Gradient Properties[J]. Infrared Physics & Technology, 2018, 89: 88-96.
[8]
HERBERT B, ANDREAS E, TINNE T, et al. SURF: Speeded Up Robust Features[J]. Computer Vision and Image Understanding, 2008, 110 (3): 346-359.
[9]
SUN X L , LIU X L, TANG Z X, et al. Real-time visual enhancement for infrared small dim targets in video[J]. Infrared Physics & Technology. 2017, 83: 217-226.
[10]
张文龙. 动观测平台下运动目标检测方法研究[D]. 长沙: **科技大学, 2020.
[11]
DERKSEN D, MARCUS M, VON LOOZ M, et al. spotGEO starter kit [EB/OL]. (2020-06-08) [2021-01-25]. https://zenodo.org/record/3874368#.YA5RRGy-vm4.
数据引用格式
孙晓亮, 郭良超, 张文龙, 等. 复杂背景下红外弱小运动目标检测数据集[DB/OL]. Science Data Bank, 2021. (2021-04-25). DOI: 10.11922/sciencedb.j00001.00231.
稿件与作者信息
论文引用格式
孙晓亮, 郭良超, 张文龙, 等. 复杂背景下红外弱小运动目标检测数据集[J/OL]. 中国科学数据, 2021. (2021-04-25). DOI: 10.11922/csdata.2021.0015.zh.
孙晓亮
Xiaoliang Sun
主要承担工作:数据集方案制定,数据集采集与制作、数据使用评价。
alexander_sxl@nudt.edu.cn
(1989—),男,安徽省亳州市人,博士,讲师,研究方向为图像测量与视觉导航。
郭良超
Liangchao Guo
主要承担工作:数据集方案制定,数据集制作,数据使用评价。
(1995—),男,河南省三门峡市人,硕士研究生,研究方向为红外弱小目标检测。
张文龙
Wenlong Zhang
主要承担工作:数据集方案制定,数据使用评价。
(1991—),男,陕西省潼川市人,博士,讲师,研究方向为运动目标检测与跟踪。
王梓
Zi Wang
主要承担工作:数据集制作、数据使用评价。
(1994—),男,山东省菏泽市人,博士,讲师,研究方向为运动目标检测与跟踪。
侯艳杰
Yanjie Hou
主要承担工作:数据集使用评价。
(1984—),男,山西省晋中市人,硕士,工程师,研究方向为航天发射场数据处理。
李璋
Zhang Li
主要承担工作:数据集方案制定,数据集发布。
(1985—),男,湖南省长沙市人,博士,副研究员,研究方向为图像匹配与制导。
滕锡超
Xichao Teng
主要承担工作:数据集方案制定,数据集发布。
(1990—),男,山东省烟台市人,博士,讲师,研究方向为图像匹配与视觉导航。
出版历史
I区发布时间:2021年4月25日 ( 版本ZH2
参考文献列表中查看
中国科学数据
csdata