Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

N个连续的卷积层 #21

Open
Lkevin20 opened this issue Nov 12, 2022 · 8 comments
Open

N个连续的卷积层 #21

Lkevin20 opened this issue Nov 12, 2022 · 8 comments

Comments

@Lkevin20
Copy link

请问作者,他这个N个连续的卷积层是如何去提取一个多尺度信息的呢

@fcjian
Copy link
Owner

fcjian commented Nov 14, 2022

@Lkevin20 不同层的特征具有不同的感受野大小,从而提取不同尺度的信息。

@Lkevin20
Copy link
Author

作者你好,请问这个空间概率图和空间特征图是如何学习得到的?如果没有TAL策略是不是这个TAP就没有效果?那么为什么说T型头是一个独立的模块,可以在没有TAL的情况下很好地工作?

@Lkevin20
Copy link
Author

这个交互特征又是如何得到的呢?辛苦作者解答一下谢谢

@fcjian
Copy link
Owner

fcjian commented Dec 8, 2022

作者你好,请问这个空间概率图和空间特征图是如何学习得到的?如果没有TAL策略是不是这个TAP就没有效果?那么为什么说T型头是一个独立的模块,可以在没有TAL的情况下很好地工作?

  1. 空间概率图的获取可以参考Plot result #13
  2. 没有TAL策略,T-head/TAL也有一定的效果,具体可以参考论文Table 1的实验。而有了TAL策略,可以使得T-head/TAL更好地工作,取得更高的性能。

@fcjian
Copy link
Owner

fcjian commented Dec 8, 2022

这个交互特征又是如何得到的呢?辛苦作者解答一下谢谢

通过N层共享的卷积:
image

@Lkevin20
Copy link
Author

Lkevin20 commented Dec 8, 2022

但是论文中说道空间概率图和偏移图的学习是在TAL中实现的所以有点不理解,论文中原话为“where conv1 and conv3 are two 1×1 conv layers for dimen-
sion reduction. The learning of M and O is performed by using the proposed Task Alignment Learning (TAL) which will be described next.”

@fcjian
Copy link
Owner

fcjian commented Dec 8, 2022

但是论文中说道空间概率图和偏移图的学习是在TAL中实现的所以有点不理解,论文中原话为“where conv1 and conv3 are two 1×1 conv layers for dimen- sion reduction. The learning of M and O is performed by using the proposed Task Alignment Learning (TAL) which will be described next.”

没有TAL策略,模型也可以学习到对检测性能有一定提高的M和O,比如传统的检测器选择物体中心区域的anchor作为正样本,此时学习到的M和O能够提高物体中心区域anchor预测的分类和定位的精度。
而如果采用TAL策略,此时学习到的M和O能够提高aligned anchor预测的分类和定位的精度,进一步提高分类和定位的对齐。
因此,学习到怎样的M/O跟所采用的学习策略有关。在TOOD里,正是采用了TAL来学习更能提高分类和定位对齐的M和O。

@Lkevin20
Copy link
Author

Lkevin20 commented Dec 8, 2022

这个TAL的分配策略和损失函数是在M和O上执行的吗?在原本的分类(P)和回归(B)上有体现吗?

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants