Skip to content

测试指标和论文对不上,GUI-Odyssey数据里面的annotations文件夹缺少文件 #15

@ChengYinghao

Description

@ChengYinghao

用官方的评测脚本eval.sh在8台机器上评测OdysseyAgent-app模型,his_len=4,"AMS": 58.65, "SR": 3.51, 论文里是"AMS": 62.64, "SR": 7.65,请问可能是什么原因?

在huggingface的GUI-Odyssey数据集下面的annotations好像缺少文件,在执行data/format_converter.py的时候会报错,是改成用https://huggingface.co/datasets/OpenGVLab/GUI-Odyssey/tree/main/zips里面的annotations.zip吗?用这个的时候不会报错。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions