测试说明
anskbench 是一项单任务 LLM 基准测试,体裁取自同人文化中的「CP 猜测」游戏, 考察模型的世界知识储备、提问约束遵循与跳出思维定势的推理能力。
候选范围为 BanG Dream! 企划旗下乐队 MyGO!!!!! 与 Ave Mujica 的共计 10 名成员。裁判预设其中两人组成的一对 CP 作为答案,被测模型通过逐个提出「是 / 否」问题缩小范围, 直至给出答案。提问数越少,得分越高。
预设答案(公开):爱祥 —— 千早爱音(MyGO!!!!!)× 丰川祥子(Ave Mujica)
候选角色(10 人)
MyGO!!!!!
- 高松灯Tomori Takamatsu · Vo.
- 千早爱音Anon Chihaya · Gt.
- 要乐奈Rāna Kaname · Gt.
- 长崎爽世Soyo Nagasaki · Ba.
- 椎名立希Taki Shiina · Dr.
Ave Mujica
- 三角初华Uika Misumi · Vo. / Gt.
- 丰川祥子Sakiko Togawa · Key.
- 若叶睦Mutsumi Wakaba · Gt.
- 八幡海铃Umiri Yahata · Ba.
- 祐天寺若麦Nyamu Yūtenji · Dr.
提问约束
- 每次仅提出一个简短问题,裁判只回答「是」或「否」。
- 问题不得指向特定角色(如「CP 中是否包含某某」),不得询问是否为某特定职位 / 乐器担当,不得直接询问是否为某对特定 CP。
- 问题须围绕人物关系、剧情互动或二次创作设定等维度。
- 每个问题必须有确定的是 / 否答案。
评测流程
- 向被测模型发送角色背景 prompt,确认其了解全部 10 名角色。
- 进入问答轮次,模型逐轮提问,直至给出 CP 答案。
- 记录猜出答案所用的提问数 n,重复 3 轮试验。
- 取成功轮次的平均 n 算基础分,再按成功比例折扣:最终分 = 基础分 × (成功轮次 / 3)。三轮均失败记 0。
计分公式
基础分 n ≤ 3 : 100
n > 3 : 100 × e−0.1 × (n − 3)1.2
最终分 = 基础分 × (成功轮次 / 3)
n 为成功轮次的平均提问数,失败轮次不计入 n
n > 3 : 100 × e−0.1 × (n − 3)1.2
最终分 = 基础分 × (成功轮次 / 3)
n 为成功轮次的平均提问数,失败轮次不计入 n
计分曲线
横轴为成功轮次平均提问数 n,纵轴为得分。曲线上点为各模型位置(悬停查看详情)。
滚轮缩放 · 拖拽平移 · 双击重置单指平移 · 双指缩放 · 双击重置 · 点按圆点查看详情
排行榜
R1 – R3 为各轮试验的提问数;FAIL 表示该轮未能猜出答案。点击表头可按列排序。 表格可左右滑动。
| # | 模型 | 提供方 | R1 | R2 | R3 | 平均 n | 得分 |
|---|