1. 简述

        PGI是YOLOv9的一大特色。为了丰富网络训练过程中,梯度反馈的路径(主要是梯度反馈宽度),尽量减少在训练过程中的网络信息丢失,作者添加了一个PGI(Programable Gradient Infomation)模块。

        PGI模块的引入,从宏观上看,就像是网络新加了一条Detect分支(此处将类似以往YOLOv3/5/8等的3条不同分辨率的head路线称为一个Detect分支)。作者将这一条增加的分支乘坐“辅助可逆分支”,用来产生“可信梯度信息”。

2. 论文表述

        论文中,在第3节,作者提出通过加入BN层、新的激活函数等在一定程度上缓解了网络收敛慢或不收敛的问题。但经过深度剖析,作者发现,导致这一问题的根本原因是由于“信息瓶颈”而导致的网络信息的丢失。

YOLOv9(5):YOLOv9可编程梯度信息PGI(Programable Gradient Infomation)-LMLPHP

        作者认为,随着大型网络的出现,原始的数据特征在传递过程中,会不间断的产生丢失,以至于到达最后一层时,已经没有足够的信息来表达我们的期望目标。在这种背景下,反馈过程中的梯度信息就沦为了“不可靠梯度”。作者也提出,可以设计一个足够大的网络,尽可能的保证特征信息的留存。但显然这并不现实。

        为了解决训练过程中的网络信息丢失问题,作者在第4小节提出了PGI(Programable Gradient Info)辅助监督框架。通过添加了一个辅助可逆分支,该分支用于产生“可信梯度”。如下图所示,在Figure 3(d)中,灰色方框所属的路径作为一条额外的信息传播路径,在反馈时,可以产生“可靠梯度”。

YOLOv9(5):YOLOv9可编程梯度信息PGI(Programable Gradient Infomation)-LMLPHP

        神奇的是,辅助可逆分支在推理阶段是不需要的,这样不会增加多余的推理消耗。(有没有一种模型剪枝的感觉)。

04-19 16:16