UltraEval是一个开源的基础模型能力评测框架,提供了一套轻量级、易于使用的评测体系。整体框架组织如下图所示: 按照操作顺序,共分为【数据准备】、【模型部署】、和【任务评测】三大模块,分别对应 【配置文件】 【模型部署】 【任务评测】 此外UltraEval具有很好的扩展性,为了便于用户扩展其他任务或者模型,我们提供了定制化评测流程。 【用户个性化设置教程】