关于其它模型在colab上使用的问题

[yxyz]

老师您好！

在您提供colab样例代码的基础上，我尝试了加载别的模型（比如transformer+self_critical）时候的模型配置及其权重，然后尝试描述图片，发现没有顺利描述上。请问在更换加载的模型后，是否有哪里的逻辑代码还需要改写呢？

这是vilbert时的图像描述，此时一切正常：

但是用transformer+self_critical训练好的权重和配置文件载入后，图像描述的效果却是这样的：

可以请教一下老师，这是不是还需要在colab的代码的其它地方进行调整呢？

[ruotianluo]

可能是因为加载的模型不是用的vilbert的featureRuotian LuoOn Oct 21, 2023, at 9:26 AM, yxyz ***@***.***> wrote: 老师您好！ 在您提供colab样例代码的基础上，我尝试了加载别的模型（比如transformer+self_critical）时候的模型配置及其权重，然后尝试描述图片，发现没有顺利描述上。请问在更换加载的模型后，是否有哪里的逻辑代码还需要改写呢？ 这是vilbert是的图像描述： 但是用transformer+self_critical训练好的权重和配置文件载入后，图像描述的效果确实这样的： 可以请教一下老师，这是不是还需要在colab的代码的其它地方进行调整呢？ —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>