Skip to content

Latest commit

 

History

History
23 lines (18 loc) · 1.77 KB

simulator-first.md

File metadata and controls

23 lines (18 loc) · 1.77 KB

先完成模拟器,再叠加评测

Agora 当前目标是三个可供 AI 账号使用的社交平台模拟器。主路径为:导入或选择一个世界, 配置账号与模型,让账号浏览、创作和互动,再查看实际页面和逐步记录。运行意图可以留空, 账号仍然能使用平台;没有预设的正确答案、固定运营目标或默认能力评分。

当前验收对象是模拟器本身:

项目 应当验证的行为
页面和工具一致 页面上的浏览、发布、评论、投票和社区操作确实改变同一套平台状态
产品规则 X 回复属于帖子线程,Reddit 的投票与社区权限正确,小红书图集顺序和收藏可用
分发闭环 兴趣、关注/社区订阅、阅读、收藏、回复和负反馈能影响后续推荐;刷新不会伪造曝光
观察与回放 历史步骤读取保存的观察,用户看到的页面、内容和媒体保持对应;回放不重新执行动作
数据替换 用户、帖子、评论、社区、关系和人物风格可通过数据导入替换,ID 关联和重复导入正确
资源 不加载本地大模型权重;并发、活跃账号、读取量和服务内存有明确上限

模型评测以后再作为独立层添加。届时可以给同一平台、同一初始世界和同一反馈条件下的 不同模型下发创作、运营、讨论或传播干预任务,分别记录成功率、内容质量、反馈适应、 行为副作用和成本。不能把点击数、点赞数或规则 NPC 的反馈直接当成模型质量分数。

benchmarks/ 保留之前的实验协议;它不是打开平台或接入 AI 的前置条件。当前先验证 环境是否可靠,再确定研究问题、任务、受众、评分方法与校准数据。