测试说明

anskbench 是一项单任务 LLM 基准测试,体裁取自同人文化中的「CP 猜测」游戏, 考察模型的世界知识储备提问约束遵循跳出思维定势的推理能力

候选范围为 BanG Dream! 企划旗下乐队 MyGO!!!!!Ave Mujica 的共计 10 名成员。裁判预设其中两人组成的一对 CP 作为答案,被测模型通过逐个提出「是 / 否」问题缩小范围, 直至给出答案。提问数越少,得分越高。

预设答案(公开):爱祥 —— 千早爱音(MyGO!!!!!)× 丰川祥子(Ave Mujica)

候选角色(10 人)

MyGO!!!!!

  • 高松灯Tomori Takamatsu · Vo.
  • 千早爱音Anon Chihaya · Gt.
  • 要乐奈Rāna Kaname · Gt.
  • 长崎爽世Soyo Nagasaki · Ba.
  • 椎名立希Taki Shiina · Dr.

Ave Mujica

  • 三角初华Uika Misumi · Vo. / Gt.
  • 丰川祥子Sakiko Togawa · Key.
  • 若叶睦Mutsumi Wakaba · Gt.
  • 八幡海铃Umiri Yahata · Ba.
  • 祐天寺若麦Nyamu Yūtenji · Dr.

提问约束

  1. 每次仅提出一个简短问题,裁判只回答「是」或「否」。
  2. 问题不得指向特定角色(如「CP 中是否包含某某」),不得询问是否为某特定职位 / 乐器担当,不得直接询问是否为某对特定 CP。
  3. 问题须围绕人物关系、剧情互动或二次创作设定等维度。
  4. 每个问题必须有确定的是 / 否答案。

评测流程

  1. 向被测模型发送角色背景 prompt,确认其了解全部 10 名角色。
  2. 进入问答轮次,模型逐轮提问,直至给出 CP 答案。
  3. 记录猜出答案所用的提问数 n,重复 3 轮试验。
  4. 取成功轮次的平均 n 算基础分,再按成功比例折扣:最终分 = 基础分 × (成功轮次 / 3)。三轮均失败记 0。

计分公式

基础分 n ≤ 3 : 100
n > 3 : 100 × e−0.1 × (n − 3)1.2
最终分 = 基础分 × (成功轮次 / 3)
n 为成功轮次的平均提问数,失败轮次不计入 n

计分曲线

横轴为成功轮次平均提问数 n,纵轴为得分。曲线上点为各模型位置(悬停查看详情)。
滚轮缩放 · 拖拽平移 · 双击重置单指平移 · 双指缩放 · 双击重置 · 点按圆点查看详情

排行榜

R1 – R3 为各轮试验的提问数;FAIL 表示该轮未能猜出答案。点击表头可按列排序。 表格可左右滑动。

# 模型 提供方 R1 R2 R3 平均 n 得分
↻ 建议旋转设备至横屏以获得最佳体验