有效捕捉目标级别语义信息，之江实验室&浙大提出再注意机制TRT

弱监督定位任务（Weakly supervised object localization, WSOL）仅利用图像级别的类别标签，就能实现目标级别的定位功能，因为其细粒度注释的最小化需求大大压缩了人工成本，于近年获得大量关注。

• 论文链接：https://arxiv.org/pdf/2208.01838.pdf

• Github链接：https://github.com/su-hui-zz/ReAttentionTransformer

训练阶段，针对 CAM 分支和 TPSM 分支输出的分类概率和，与类别标签构建交叉熵损失函数，实现分类训练，如下公式（2）所示。

测试阶段，将 CAM 分支输出的特征与 TPSM 分支输出的特征点乘，生成最终的注意力图M。

第 l 个 transformer 层的自注意矩阵公式如下式（4）所示，其中的第一行为 class token 的注意力向量，展示了 class token 和所有 patch token 之间的关联关系。将所有层 transformer 层 class token 的注意力向量进行均值融合，得到初步注意力结果 m。

利用累积分布采样方法构建自适应阈值，具体操作为：对初步注意力结果 m 进行排序并构建积分图，针对积分图结果确定固定阈值，则针对 m 生成了自适应阈值。

操作原理如下式（5）所示，其中 F 为 m 的累积分布函数，严格单调转换为其逆函数。

基于阈值生成二值图，b 中值为 1 的位置表示被筛选的 patch token 的位置。

利用二值图 b 构建挑选矩阵 B，并基于矩阵 B 构建掩码自注意力操作。对图 2 中 visual transformer blocks 输出的特征中 patch token 部分执行掩码自注意力操作，对操作结果进行全连接和掩码 softmax 操作，生成重要性权重 λ。

在训练阶段，利用重要性权重λ对进行加权融合，将与融合结果送入最后一个 transformer 层。利用最后一个 transformer 层输出的 class token 生成分类概率。

在测试阶段，从初步注意力结果 m 中获取未被筛选的 patch token 权重信息，从重要性权重 λ 中获取被筛选的 patch token 权重信息，由此生成，如式（10）所示，m' 为的向量形式。

掌握「声纹识别技术」：前20小时交给我，后9980小时……

《声纹识别：从理论到编程实战》中文课上线，由谷歌声纹团队负责人王泉博士主讲。

课程视频内容共 12 小时，着重介绍基于深度学习的声纹识别系统，包括大量学术界与产业界的最新研究成果。

同时课程配有 32 次课后测验、10 次编程练习、10 次大作业，确保课程结束时可以亲自上手从零搭建一个完整的声纹识别系统。

课程目前还在首周优惠中，欢迎对声纹领域感兴趣的同学一起学习。

点击阅读原文，了解更多课程内容。

??THE END?

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/